####################
免责声明：工具本身并无好坏，希望大家以遵守《网络安全法》相关法律为前提来使用该工具，支持研究学习，切勿用于非法犯罪活动，对于恶意使用该工具造成的损失，和本人及开发者无关。
####################
Crawlab介绍
Crawlab是一款基于Celery的爬虫分布式爬虫管理平台，支持多种编程语言以及多种爬虫框架。
Crawlab的架构跟Celery非常相似，但是加入了包括前端、爬虫、Flower在内的额外模块，以支持爬虫管理的功能。
Crawlab安装
# 安装后台类库pip install -r requirements.txt# 安装前台类库cd frontendnpm install
更改配置文件config.py，配置API和数据库连接。
# 运行服务python manage.py serve
https://github.com/tikazyq/crawlab
原文始发于微信公众号（菜鸟小新）：Crawlab – 基于Celery的分布式爬虫管理平台
免责声明:文章中涉及的程序(方法)可能带有攻击性，仅供安全研究与教学之用，读者将其信息做其他用途，由读者承担全部法律及连带责任，本站不承担任何法律及连带责任；如有问题可邮件联系(建议使用企业邮箱或有效邮箱,避免邮件被拦截，联系方式见首页)，望知悉。
- 左青龙
- 微信扫一扫
-
- 右白虎
- 微信扫一扫
-
评论