此这几天有点小感冒推迟了两天发文，这款工具是缝合Crawlergo和Katana而产生的，使用一套参数，并且通过我对代码的部分调整，使该工具达到一个方便查看方便使用的效果，并且支持联动其他任意扫描器，当然我的设计之初是为了联动Venom-Transponder流量转发器（https://github.com/z-bool/Venom-Transponder）而生，目前两款解放双手的工具均已实现需求，若在使用中的问题请提issue，我将转而开发一款被动扫描器。
sdfd
01
工具简介
- 项目名称：z-bool/Venom-Crawler
- 项目地址：
https://github.com/z-bool/Venom-Crawler
- 项目描述：使用Katana+Crawlergo的方法结合获取所有符合的URL，思路是：先由katana爬行，将爬行的最终结果交给Crawlergo再进行二次爬取，使其左脚踩右脚螺旋升天。
- 项目优点：解放双手，可以在任意系统运行
02
使用方法
-headless 是否让爬行时候headless结果可见-installChrome 安装Chromium如果环境里没有Chrome或者想自定义Chromium路径但没有的-chromium 如果在代码执行过程中报查询不到环境中的浏览器， 将Chrome或者Chromium路径填入即可-headers 爬行要求带入的JSON字符串格式的自定义请求头，默认只有UA-maxCrawler URL启动的任务最大的爬行个数,这个针对Crawlergo配置-mode 爬行模式，simple/smart/strict,默认smart,如果simple模式katana不爬取JS解析的路径-proxy 配置代理地址，支持扫描器、流量转发器、Burp、yakit等-blackKey 黑名单关键词，用于避免被爬虫执行危险操作，用,分割，如：logout,delete,update-url 执行爬行的单个URL-urlTxtPath 如果需求是批量爬行URL，那需要将URL写入txt，然后放txt路径-encodeUrlWithCharset 是否对URL进行编码，Crwalergo的功能但katana跑完的结果走Crawlergo后也会被编码-depth 爬行深度，默认3
不联动其他工具：
.Venom.exe -urlTxtPath .text.txt.Vebom.exe -url https://www.sf-express.com
联动其他工具：
.Venom.exe -urlTxtPath .text.txt -proxy http://127.0.0.1:9090.Vebom.exe -url https://www.sf-express.com -proxy http://127.0.0.1:9090
上图的使用思路将，爬虫爬取的URL通过Proxy代理转发给流量转发器，再由流量转发器转发给代理工具/漏扫。
如果想在爬取过程中查看爬行效果的话，可以在命令后面带上-headless 就会启动浏览器界面。
这还不开启捡洞模式？？？
03
注意事项
浏览器上下文创建错误：exec: "google-chrome": executable file not found in %path% ：
说明浏览器没有安装或者%path%环境里面没有chrome的地址，所以我们使用-installChrome下载一个Selenium，然后使用- chromium指定下载安装的路径启动即可。
04
Tips
若是打点，只要信息搜集到位，将URL放到Venom-Crawler让其进行爬行，然后将流量代理给Venom-Transponder，再由其分发给各个扫描器，完全一条龙服务，在使用过程中还可以将代理流量转发给Bp之类，一边手工一边漏扫。
原文始发于微信公众号（阿呆攻防）：(原创缝合)爬行器：专为捡洞而生的爬行器
- 左青龙
- 微信扫一扫
-
- 右白虎
- 微信扫一扫
-
评论