Crawlergo动态爬虫联动Xray

admin 2021年8月27日14:20:42评论216 views字数 1812阅读6分2秒阅读模式

Crawlergo动态爬虫联动Xray

前言

被动扫描可以通过代理方式,把浏览过的网页进行漏洞扫描,而一个小巧强大的爬虫可以爬取到足够丰富的 URL 信息,因此就有了 Crawlergo 和 Xray 的梦幻联动。

项目地址:https://github.com/timwhitez/crawlergo_x_XRAY

准备

下载压缩包:https://github.com/timwhitez/crawlergo_x_XRAY/archive/master.zip

或者 Git 到本地:

1
git clone https://github.com/timwhitez/crawlergo_x_XRAY.git

Crawlergo

Crawlergo是一个使用 chrome headless 模式进行URL入口收集的动态爬虫。 使用 Golang 语言开发,尽可能的收集网站暴露出的入口。同时,依靠智能URL去重模块,在过滤掉了大多数伪静态URL之后,仍然确保不遗漏关键入口链接,大幅减少重复任务。

下载地址

下载对应版本放到项目的 crawlergo 文件夹

Windows 版本:https://github.com/0Kee-Team/crawlergo/releases/download/v0.4.0/crawlergo_windows_amd64.zip

Mac 版本:https://github.com/0Kee-Team/crawlergo/releases/download/v0.4.0/crawlergo_darwin_amd64.zip

使用测试

测试前需要先确定你的 Chrome 或者 Chromium 浏览器可执行文件的安装位置

Windows:

1
C:Program Files (x86)GoogleChromeApplicationchrome.exe

Mac:

1
/Applications/Google Chrome.app/Contents/MacOS/Google Chrome

注意这里的Unix 可执行文件需要显示包内容才看得到:

image-20210308014131625

爬取URL

1
./crawlergo -c /Applications/Chromium.app/Contents/MacOS/Chromium -t 20 http://testphp.vulnweb.com

image-20210308013601707

Xray

xray 是一款功能强大的安全评估工具,也是一款著名的支持被动扫描的扫描器。

下载地址

下载对应版本放到项目的 xray 文件夹

Windows 版本:https://github.com/chaitin/xray/releases/download/1.7.0/xray_windows_amd64.exe.zip

Mac 版本:https://github.com/chaitin/xray/releases/download/1.7.0/xray_darwin_amd64.zip

测试运行

image-20210308015125816

Crawlergo联动Xray

扫描逻辑

食用方法

  1. 把 launcher.py 和 targets.txt 放在 crawlergo 目录下

  2. 配置好并启动xray被动扫描(脚本默认配置为127.0.0.1:7777)若修改端口请同时修改 launcher.py 文件中的 proxies

1
./xray_darwin_amd64 webscan --listen 127.0.0.1:7777 --html-output test.html

image-20210308020400899

  1. 将测试 Crawlergo 爬虫时的浏览器路径替换到 launcher.py 的 cmd 变量
  2. 将目标 URL 写进 targets.txt,一行一个 URL
  3. 运行 launcher.py
1
python3 launcher.py

遇到报错缺少模块时

1
ModuleNotFoundError: No module named 'xx'

执行下面命令即可:

1
pip3 install xx

使用效果

crawl ok说明启动成功

image-20210308020854526

Xray 已成功接收 Crawlergo 爬虫的 URL 信息并扫描到漏洞

image-20210308015039860

漏洞信息:

image-20210308022353420

FROM : lintstar.top , Author: 离沫凌天๓

相关推荐: 密码保护:weblogic rce cve-2020-2555 复现以及回显exp编写

这是一篇受密码保护的文章,您需要提供访问密码: 密码: 相关推荐: DEFCON CHINA&BCTF的一些随笔 萌新的第一次线下决赛,毫无意外的被打爆,打扰了我太菜了,告辞! 下面记录一下这次的收获吧。 靶场渗透 这次靶场是打的真的爽,也学习了很多东…

  • 左青龙
  • 微信扫一扫
  • weinxin
  • 右白虎
  • 微信扫一扫
  • weinxin
admin
  • 本文由 发表于 2021年8月27日14:20:42
  • 转载请保留本文链接(CN-SEC中文网:感谢原作者辛苦付出):
                   Crawlergo动态爬虫联动Xrayhttps://cn-sec.com/archives/475033.html

发表评论

匿名网友 填写信息