0x01 工具介绍
URLFinder是一款用于快速分析网页中JS和URL的工具,旨在帮助用户查找隐藏的敏感信息和未授权的API接口。它支持单个或批量URL抓取,能够显示指定状态码、导出抓取结果,并提供自定义请求头、代理设置、抓取模式等功能。通过深入抓取和fuzz测试等策略,URLFinder有效地发现潜在的敏感路径和漏洞,适合网络安全分析使用。
下载地址
https://github.com/pingc0y/URLFinder
0x02 功能简介
项目功能
大致执行流程:
项目截图
部分说明
-
fuzz功能是基于抓到的404目录和路径。将其当作字典,随机组合并碰撞出有效路径,从而解决路径拼接错误的问题。
-
结果会优先显示输入的url顶级域名,其他域名不做区分显示在 other。
-
结果会优先显示200,按从小到大排序(输入的域名最优先,就算是404也会排序在其他子域名的200前面)。
-
为了更好的兼容和防止漏抓链接,放弃了低误报率,错误的链接会变多但漏抓概率变低,可通过 ‘-s 200’ 筛选状态码过滤无效的链接(但不推荐只看200状态码)。
0x03更新说明
修复 -ff 重复验证问题
修复 自动识别协议bug
修复 -i 配置请求头错误问题
变化 支持自动识别http/https
变化 -o 输入完整文件名可只导出指定类型
变化 无 -s 参数时,链接改为无颜色方便使用管道符
变化 -i 配置文件可自定义:线程数、抓取深度、敏感路由、超时时间、最大抓取数
新增 -time 设置超时时间
新增 -max 设置最大抓取数
新增 添加版本更新提示
修复 已知bug
0x04 使用介绍
单url
显示全部状态码
URLFinder.exe -u http://www.baidu.com -s all -m 3
显示200和403状态码
URLFinder.exe -u http://www.baidu.com -s 200,403 -m 3
批量url
结果分开保存
导出全部
URLFinder.exe -s all -m 3 -f url.txt -o .
只导出html
URLFinder.exe -s all -m 3 -f url.txt -o res.html
结果统一保存
URLFinder.exe -s all -m 3 -ff url.txt -o .
参数(更多参数使用 -i 配置):
-a 自定义user-agent请求头
-b 自定义baseurl路径
-c 请求添加cookie
-d 指定获取的域名,支持正则表达式
-f 批量url抓取,需指定url文本路径
-ff 与-f区别:全部抓取的数据,视为同一个url的结果来处理(只打印一份结果 | 只会输出一份结果)
-h 帮助信息
-i 加载yaml配置文件,可自定义请求头、抓取规则等(不存在时,会在当前目录创建一个默认yaml配置文件)
-m 抓取模式:
1 正常抓取(默认)
2 深入抓取 (URL深入一层 JS深入三层 防止抓偏)
3 安全深入抓取(过滤delete,remove等敏感路由)
-max 最大抓取数
-o 结果导出到csv、json、html文件,需指定导出文件目录(.代表当前目录)
-s 显示指定状态码,all为显示全部
-t 设置线程数(默认50)
-time 设置超时时间(默认5,单位秒)
-u 目标URL
-x 设置代理,格式: http://username:[email protected]:8877
-z 提取所有目录对404链接进行fuzz(只对主域名下的链接生效,需要与 -s 一起使用)
1 目录递减fuzz
2 2级目录组合fuzz
3 3级目录组合fuzz(适合少量链接使用)
编译
以下是在windows环境下,编译出各平台可执行文件的命令
SET CGO_ENABLED=0
SET GOOS=windows
SET GOARCH=amd64
go build -ldflags "-s -w" -o ./URLFinder-windows-amd64.exe
SET CGO_ENABLED=0
SET GOOS=windows
SET GOARCH=386
go build -ldflags "-s -w" -o ./URLFinder-windows-386.exe
SET CGO_ENABLED=0
SET GOOS=linux
SET GOARCH=amd64
go build -ldflags "-s -w" -o ./URLFinder-linux-amd64
SET CGO_ENABLED=0
SET GOOS=linux
SET GOARCH=arm64
go build -ldflags "-s -w" -o ./URLFinder-linux-arm64
SET CGO_ENABLED=0
SET GOOS=linux
SET GOARCH=386
go build -ldflags "-s -w" -o ./URLFinder-linux-386
SET CGO_ENABLED=0
SET GOOS=darwin
SET GOARCH=amd64
go build -ldflags "-s -w" -o ./URLFinder-macos-amd64
SET CGO_ENABLED=0
SET GOOS=darwin
SET GOARCH=arm64
go build -ldflags "-s -w" -o ./URLFinder-macos-arm64
0x05 下载
https://github.com/pingc0y/URLFinder
原文始发于微信公众号(渗透安全HackTwo):一款快速、全面、易用的JS页面信息提取工具|信息收集
免责声明:文章中涉及的程序(方法)可能带有攻击性,仅供安全研究与教学之用,读者将其信息做其他用途,由读者承担全部法律及连带责任,本站不承担任何法律及连带责任;如有问题可邮件联系(建议使用企业邮箱或有效邮箱,避免邮件被拦截,联系方式见首页),望知悉。
- 左青龙
- 微信扫一扫
-
- 右白虎
- 微信扫一扫
-
评论