Crawlab - 基于Celery的分布式爬虫管理平台

admin 2022年10月5日15:51:52评论54 views字数 443阅读1分28秒阅读模式

####################
免责声明:工具本身并无好坏,希望大家以遵守《网络安全法》相关法律为前提来使用该工具,支持研究学习,切勿用于非法犯罪活动,对于恶意使用该工具造成的损失,和本人及开发者无关。
####################

Crawlab介绍

Crawlab是一款基于Celery的爬虫分布式爬虫管理平台,支持多种编程语言以及多种爬虫框架

Crawlab - 基于Celery的分布式爬虫管理平台

Crawlab的架构跟Celery非常相似,但是加入了包括前端、爬虫、Flower在内的额外模块,以支持爬虫管理的功能。

Crawlab - 基于Celery的分布式爬虫管理平台

Crawlab安装

# 安装后台类库pip install -r requirements.txt
# 安装前台类库cd frontendnpm install

更改配置文件config.py,配置API和数据库连接。

# 运行服务python manage.py serve

https://github.com/tikazyq/crawlab

原文始发于微信公众号(菜鸟小新):Crawlab – 基于Celery的分布式爬虫管理平台

  • 左青龙
  • 微信扫一扫
  • weinxin
  • 右白虎
  • 微信扫一扫
  • weinxin
admin
  • 本文由 发表于 2022年10月5日15:51:52
  • 转载请保留本文链接(CN-SEC中文网:感谢原作者辛苦付出):
                   Crawlab - 基于Celery的分布式爬虫管理平台http://cn-sec.com/archives/1329980.html

发表评论

匿名网友 填写信息