基于DOCKER和WEB UI 的深度网络爬虫

最近几天，逛GITHUB发现了个情报收集的东东，用于深度网络爬虫，爬取一些有用的信息其中

他实现的如下，还有漂亮的UI

• 使用CURL进行多层次的深度爬网

• 链接提取器

• 提取电子邮件/ BTC / ETH / XMR地址

• 提取EXIF元数据

• 屏幕截图（使用启动画面）

• 主题检测器（使用Spacy）

• 端口扫描仪

• 从隐藏服务中提取报告（CSV / PDF）

• 通过目录全文搜索

• 语言检测

• Web应用程序安全性扫描（使用Arachni）-[开发中]

• 基于Docker和Web UI

想玩起来就需要环境依赖

• Docker (tested on Docker version 18.03.1)

• Docker Compose (tested on version 1.21.1)

• Python 3

• pipenv

而安装此项目简单至极，简单演示

然后，使用

docker-compose up -d


国内的机子可能会有一个问题，会报错，有条件的同学可以换国外机子

记得添加站点，还是蛮有趣的

本文始发于微信公众号（渗透云笔记）：基于DOCKER和WEB UI 的深度网络爬虫