【工具推荐】URLFinder-x 信息收集工具

admin 2025年1月21日19:30:52评论26 views字数 4320阅读14分24秒阅读模式
URLFinder-x是一个优化后的URLFinder工具,通过对URLFinder代码的简单重构。将粗略的完成部分灯塔的 WebInfoHunter功能与URLFinder进行融合。它能够通过自定义的正则表达式对网页中的各种敏感信息进行提取。

这个工具不仅可以匹配到手机号、邮箱、身份证号等个人信息,还可以检测到JWT(JSON Web Token)、accesskey、Webhook URL以及内网IP地址等多种类型的敏感数据。此外,使用者还可以添加针对阿里云、腾讯云和亚马逊云等服务提供商的API密钥规则。

【工具推荐】URLFinder-x 信息收集工具
01
 快速使用
可以使用-i选项自动导出config.yml或者直接使用我的yml。在infoFiler下增添规则。

proxy: ""timeout: 5thread: 50urlSteps: 1jsSteps: 3max: 99999headers:    Accept: '*/*'    Cookie: ""    User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.87 Safari/537.36 SE 2.X MetaSr 1.0jsFind:    - (https{0,1}:[-a-zA-Z0-9()@:%_+.~#?&//=]{2,250}?[-a-zA-Z0-9()@:%_+.~#?&//=]{3}[.]js)    - '["''‘“`]s{0,6}(/{0,1}[-a-zA-Z0-9()@:%_+.~#?&//=]{2,250}?[-a-zA-Z0-9()@:%_+.~#?&//=]{3}[.]js)'    - =s{0,6}[",',’,”]{0,1}s{0,6}(/{0,1}[-a-zA-Z0-9()@:%_+.~#?&//=]{2,250}?[-a-zA-Z0-9()@:%_+.~#?&//=]{3}[.]js)urlFind:    - '["''‘“`]s{0,6}(https{0,1}:[-a-zA-Z0-9()@:%_+.~#?&//={}]{2,250}?)s{0,6}["''‘“`]'    - =s{0,6}(https{0,1}:[-a-zA-Z0-9()@:%_+.~#?&//={}]{2,250})    - '["''‘“`]s{0,6}([#,.]{0,2}/[-a-zA-Z0-9()@:%_+.~#?&//={}]{2,250}?)s{0,6}["''‘“`]'    - '"([-a-zA-Z0-9()@:%_+.~#?&//={}]+?[/]{1}[-a-zA-Z0-9()@:%_+.~#?&//={}]+?)"'    - hrefs{0,6}=s{0,6}["'‘“`]{0,1}s{0,6}([-a-zA-Z0-9()@:%_+.~#?&//={}]{2,250})|actions{0,6}=s{0,6}["'‘“`]{0,1}s{0,6}([-a-zA-Z0-9()@:%_+.~#?&//={}]{2,250})infoFiler:    Email:        - '(([^<>()[]\.,;:s@"]+(.[^<>()[]\.,;:s@"]+)*)|(".+"))@(([[0-9]{1,3}.[0-9]{1,3}.[0-9]{1,3}.[0-9]{1,3}])|(([a-zA-Z-0-9]+.)+[a-zA-Z]{2,}))'    IDcard:        - '[1-9]d{5}(?:18|19|20)d{2}(?:0[1-9]|10|11|12)(?:0[1-9]|[1-2]d|30|31)d{3}[dXx]'    Jwt:        - '[''"](ey[A-Za-z0-9_-]{10,}.[A-Za-z0-9._-]{10,}|ey[A-Za-z0-9_/+-]{10,}.[A-Za-z0-9._/+-]{10,})[''"]'    Other:        - '(access.{0,1}key|access.{0,1}Key|access.{0,1}Id|access.{0,1}id|.{0,5}密码|.{0,5}账号|默认.{0,5}|加密|解密|password:.{0,10}|username:.{0,10})'    Phone:        - '(?:(?:+|00)86)?1(?:(?:3[d])|(?:4[5-79])|(?:5[0-35-9])|(?:6[5-7])|(?:7[0-8])|(?:8[d])|(?:9[01256789]))d{8}'    ip:        - '(?:10.d{1,3}.d{1,3}.d{1,3})|(?:172.(?:(?:1[6-9])|(?:2d)|(?:3[01])).d{1,3}.d{1,3})|(?:192.168.d{1,3}.d{1,3})'    jdbc:        - '(jdbc:[a-z:]+://[a-z0-9.-_:;=/@?,&]+)'    swaggerui:        - '((swagger-ui.html)|("swagger":)|(Swagger UI)|(swaggerUi)|(swaggerVersion))'    webhook:        - 'bhttps://qyapi.weixin.qq.com/cgi-bin/webhook/send?key=[a-zA-Z0-9-]{25,50}b'        - 'bhttps://oapi.dingtalk.com/robot/send?access_token=[a-z0-9]{50,80}b'        - 'bhttps://open.feishu.cn/open-apis/bot/v2/hook/[a-z0-9-]{25,50}b'        - 'bhttps://hooks.slack.com/services/[a-zA-Z0-9-_]{6,12}/[a-zA-Z0-9-_]{6,12}/[a-zA-Z0-9-_]{15,24}b'    github_access_token:        - '[w-]*:[w-][email protected]*'risks:    - remove    - delete    - insert    - update    - logoutjsFiler:    - www.w3.org    - example.comurlFiler:    - .js?|.css?|.jpeg?|.jpg?|.png?|.gif?|www.w3.org|example.com|<|>|{|}|[|]|||^|;|/js/|.src|.replace|.url|.att|.href|location.href|javascript:|location:|application/x-www-form-urlencoded|.createObject|:location|.path|*#__PURE__*|*$0*|n    - .*.js$|.*.css$|.*.scss$|.*,$|.*.jpeg$|.*.jpg$|.*.png$|.*.gif$|.*.ico$|.*.svg$|.*.vue$|.*.ts$jsFuzzPath:    - login.js    - app.js    - main.js    - config.js    - admin.js    - info.js    - open.js    - user.js    - input.js    - list.js    - upload.js
注意:在正则表达式添加的时候需要使用''将表达式包裹,否则会报错!
02
 大量过站推荐用法
复制yml规则到当前目录下为config.yaml

快速使用:-i -u http://xxx.xxx.xxx -m3 导出全部-i -s all -m 3 -f url.txt -o .只导出html-i -s all -m 3 -f url.txt -o res.html结果统一保存-i -s all -m 3 -ff url.txt -o .
03
 demo测试
在测试过程中发现常规敏感信息正则表达式在复杂的返回报文中无法完全适用,准确率不高。需要自行测试表达式是否准确适用,这里我提供一个简单的demo方便测试,以及一个rule库。

rule库地址:https://github.com/any86/any-rule

func main() {text := `<!DOCTYPE html><htmllang="zh-CN"><head><metacharset="UTF-8"><title>示例页面</title></head><body><h1>用户信息</h1><p>电子邮件: [email protected]</p><p>手机号: 13800138000</p><p>身份证号: 110101199001011234</p><p>内网 IP: 192.168.1.100</p></body></html>`// 编译正则表达式re := regexp.MustCompile(`[1-9]d{5}(?:18|19|20)d{2}(?:0[1-9]|10|11|12)(?:0[1-9]|[1-2]d|30|31)d{3}[dXx]`)// 替换换行符、回车符和多余的空白字符text = strings.ReplaceAll(text, "r", "")text = strings.ReplaceAll(text, "n", "")text = strings.ReplaceAll(text, "t", "")text = strings.TrimSpace(text)// 查找所有匹配的手机号码matches := re.FindAllString(text, -1)fmt.Println("匹配到的手机号码:", matches)}
【工具推荐】URLFinder-x 信息收集工具
04
 参考链接
  1. https://github.com/pingc0y/URLFinder;

  2. https://tophanttechnology.github.io/ARL-doc/function_desc/web_info_hunter/;

  3. https://xz.aliyun.com/t/13993?time__1311=GqmxnD2DyD97KGNDQ0P7KpemwcArF7a4D。

05  获取方式

https://github.com/N-Next/URLFinder-x

原文始发于微信公众号(暗魂攻防实验室):【工具推荐】URLFinder-x 信息收集工具

免责声明:文章中涉及的程序(方法)可能带有攻击性,仅供安全研究与教学之用,读者将其信息做其他用途,由读者承担全部法律及连带责任,本站不承担任何法律及连带责任;如有问题可邮件联系(建议使用企业邮箱或有效邮箱,避免邮件被拦截,联系方式见首页),望知悉。
  • 左青龙
  • 微信扫一扫
  • weinxin
  • 右白虎
  • 微信扫一扫
  • weinxin
admin
  • 本文由 发表于 2025年1月21日19:30:52
  • 转载请保留本文链接(CN-SEC中文网:感谢原作者辛苦付出):
                   【工具推荐】URLFinder-x 信息收集工具https://cn-sec.com/archives/3655960.html
                  免责声明:文章中涉及的程序(方法)可能带有攻击性,仅供安全研究与教学之用,读者将其信息做其他用途,由读者承担全部法律及连带责任,本站不承担任何法律及连带责任;如有问题可邮件联系(建议使用企业邮箱或有效邮箱,避免邮件被拦截,联系方式见首页),望知悉.

发表评论

匿名网友 填写信息