Crawlergo动态爬虫联动Xray

前言

被动扫描可以通过代理方式，把浏览过的网页进行漏洞扫描，而一个小巧强大的爬虫可以爬取到足够丰富的 URL 信息，因此就有了 Crawlergo 和 Xray 的梦幻联动。

项目地址：https://github.com/timwhitez/crawlergo_x_XRAY

准备

下载压缩包：https://github.com/timwhitez/crawlergo_x_XRAY/archive/master.zip

或者 Git 到本地：

1

git clone https://github.com/timwhitez/crawlergo_x_XRAY.git

Crawlergo

Crawlergo是一个使用 chrome headless 模式进行URL入口收集的动态爬虫。 使用 Golang 语言开发,尽可能的收集网站暴露出的入口。同时，依靠智能URL去重模块，在过滤掉了大多数伪静态URL之后，仍然确保不遗漏关键入口链接，大幅减少重复任务。

下载地址

下载对应版本放到项目的 crawlergo 文件夹

Windows 版本：https://github.com/0Kee-Team/crawlergo/releases/download/v0.4.0/crawlergo_windows_amd64.zip

Mac 版本：https://github.com/0Kee-Team/crawlergo/releases/download/v0.4.0/crawlergo_darwin_amd64.zip

使用测试

测试前需要先确定你的 Chrome 或者 Chromium 浏览器可执行文件的安装位置

Windows:

1

C:Program Files (x86)GoogleChromeApplicationchrome.exe

Mac:

1

/Applications/Google Chrome.app/Contents/MacOS/Google Chrome

注意这里的Unix 可执行文件需要显示包内容才看得到：

爬取URL

1

./crawlergo -c /Applications/Chromium.app/Contents/MacOS/Chromium -t 20 http://testphp.vulnweb.com

Xray

xray 是一款功能强大的安全评估工具，也是一款著名的支持被动扫描的扫描器。

下载地址

下载对应版本放到项目的 xray 文件夹

Windows 版本：https://github.com/chaitin/xray/releases/download/1.7.0/xray_windows_amd64.exe.zip

Mac 版本：https://github.com/chaitin/xray/releases/download/1.7.0/xray_darwin_amd64.zip

测试运行

Crawlergo联动Xray

扫描逻辑

食用方法

1. 把 launcher.py 和 targets.txt 放在 crawlergo 目录下

2. 配置好并启动xray被动扫描（脚本默认配置为127.0.0.1:7777）若修改端口请同时修改 launcher.py 文件中的 proxies

1

./xray_darwin_amd64 webscan --listen 127.0.0.1:7777 --html-output test.html

3. 将测试 Crawlergo 爬虫时的浏览器路径替换到 launcher.py 的 cmd 变量
4. 将目标 URL 写进 targets.txt，一行一个 URL
5. 运行 launcher.py

1

python3 launcher.py

遇到报错缺少模块时

1

ModuleNotFoundError: No module named 'xx'

执行下面命令即可：

1

pip3 install xx

使用效果

crawl ok说明启动成功

Xray 已成功接收 Crawlergo 爬虫的 URL 信息并扫描到漏洞

漏洞信息：

FROM : lintstar.top , Author: 离沫凌天๓

相关推荐: 密码保护：weblogic rce cve-2020-2555 复现以及回显exp编写

这是一篇受密码保护的文章，您需要提供访问密码： 密码： 相关推荐: DEFCON CHINA&BCTF的一些随笔 萌新的第一次线下决赛，毫无意外的被打爆，打扰了我太菜了，告辞！ 下面记录一下这次的收获吧。 靶场渗透 这次靶场是打的真的爽，也学习了很多东…