Crawlergo动态爬虫联动Xray

  • A+
所属分类:安全博客

Crawlergo动态爬虫联动Xray

前言

被动扫描可以通过代理方式,把浏览过的网页进行漏洞扫描,而一个小巧强大的爬虫可以爬取到足够丰富的 URL 信息,因此就有了 Crawlergo 和 Xray 的梦幻联动。

项目地址:https://github.com/timwhitez/crawlergo_x_XRAY

准备

下载压缩包:https://github.com/timwhitez/crawlergo_x_XRAY/archive/master.zip

或者 Git 到本地:

1
git clone https://github.com/timwhitez/crawlergo_x_XRAY.git

Crawlergo

Crawlergo是一个使用 chrome headless 模式进行URL入口收集的动态爬虫。 使用 Golang 语言开发,尽可能的收集网站暴露出的入口。同时,依靠智能URL去重模块,在过滤掉了大多数伪静态URL之后,仍然确保不遗漏关键入口链接,大幅减少重复任务。

下载地址

下载对应版本放到项目的 crawlergo 文件夹

Windows 版本:https://github.com/0Kee-Team/crawlergo/releases/download/v0.4.0/crawlergo_windows_amd64.zip

Mac 版本:https://github.com/0Kee-Team/crawlergo/releases/download/v0.4.0/crawlergo_darwin_amd64.zip

使用测试

测试前需要先确定你的 Chrome 或者 Chromium 浏览器可执行文件的安装位置

Windows:

1
C:Program Files (x86)GoogleChromeApplicationchrome.exe

Mac:

1
/Applications/Google Chrome.app/Contents/MacOS/Google Chrome

注意这里的Unix 可执行文件需要显示包内容才看得到:

Crawlergo动态爬虫联动Xray

爬取URL

1
./crawlergo -c /Applications/Chromium.app/Contents/MacOS/Chromium -t 20 http://testphp.vulnweb.com

Crawlergo动态爬虫联动Xray

Xray

xray 是一款功能强大的安全评估工具,也是一款著名的支持被动扫描的扫描器。

下载地址

下载对应版本放到项目的 xray 文件夹

Windows 版本:https://github.com/chaitin/xray/releases/download/1.7.0/xray_windows_amd64.exe.zip

Mac 版本:https://github.com/chaitin/xray/releases/download/1.7.0/xray_darwin_amd64.zip

测试运行

Crawlergo动态爬虫联动Xray

Crawlergo联动Xray

扫描逻辑

Crawlergo动态爬虫联动Xray

食用方法

  1. 把 launcher.py 和 targets.txt 放在 crawlergo 目录下

  2. 配置好并启动xray被动扫描(脚本默认配置为127.0.0.1:7777)若修改端口请同时修改 launcher.py 文件中的 proxies

1
./xray_darwin_amd64 webscan --listen 127.0.0.1:7777 --html-output test.html

Crawlergo动态爬虫联动Xray

  1. 将测试 Crawlergo 爬虫时的浏览器路径替换到 launcher.py 的 cmd 变量
  2. 将目标 URL 写进 targets.txt,一行一个 URL
  3. 运行 launcher.py
1
python3 launcher.py

遇到报错缺少模块时

1
ModuleNotFoundError: No module named 'xx'

执行下面命令即可:

1
pip3 install xx

使用效果

crawl ok说明启动成功

Crawlergo动态爬虫联动Xray

Xray 已成功接收 Crawlergo 爬虫的 URL 信息并扫描到漏洞

Crawlergo动态爬虫联动Xray

漏洞信息:

Crawlergo动态爬虫联动Xray

FROM : lintstar.top , Author: 离沫凌天๓

相关推荐: 密码保护:weblogic rce cve-2020-2555 复现以及回显exp编写

这是一篇受密码保护的文章,您需要提供访问密码: 密码: 相关推荐: DEFCON CHINA&BCTF的一些随笔 萌新的第一次线下决赛,毫无意外的被打爆,打扰了我太菜了,告辞! 下面记录一下这次的收获吧。 靶场渗透 这次靶场是打的真的爽,也学习了很多东…

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: