关于xurlfind3r
功能介绍
1、从被动在线源获取URL地址以实现最大数量结果获取; 2、支持从Wayback网页和robots.txt快照解析URL地址; 3、支持URL匹配和过滤; 4、支持stdin和stdout已实现轻松跟工作流整合; 5、跨平台支持,支持Windows、Linux和macOS;
支持的在线源
AlienVault's OTX BeVigil Common Crawl Github Intelligence X URLScan Wayback Machine
工具安装
安装发布版本代码(不需要安装Go环境)
wget https://github.com/hueristiq/xurlfind3r/releases/download/v<version>/xurlfind3r-<version>-linux-amd64.tar.gz
(向右滑动,查看更多)
curl -OL https://github.com/hueristiq/xurlfind3r/releases/download/v<version>/xurlfind3r-<version>-linux-amd64.tar.gz
(向右滑动,查看更多)
tar xf xurlfind3r-<version>-linux-amd64.tar.gz
sudo mv xurlfind3r /usr/local/bin/
源码安装(需要安装Go环境)
首先,我们需要在本地设备上安装并配置好最新版本的Go语言环境。接下来,使用go install命令下载该工具即可: go install -v github.com/hueristiq/xurlfind3r/cmd/xurlfind3r@latest
(向右滑动,查看更多)
除此之外,我们也可以先将项目源码克隆至本地: git clone https://github.com/hueristiq/xurlfind3r.git
然后构建工具: cd xurlfind3r/cmd/xurlfind3r &&
go build .
工具配置
在使用该工具之前,我们还需要配置相应的API密钥,配置文件为config.yaml: version: 0.3.0
sources:
bevigil
commoncrawl
github
intelx
otx
urlscan
wayback
keys:
bevigil:
awA5nvpKU3N8ygkZ
github:
d23a554bbc1aabb208c9acfbd2dd41ce7fc9db39
asdsd54bbc1aabb208c9acfbd2dd41ce7fc9db39
intelx:
2.intelx.io:00000000-0000-0000-0000-000000000000
urlscan:
d4c85d34-e425-446e-d4ab-f5a3412acbe8
(向右滑动,查看更多)
工具使用
-h参数可以直接查看工具的帮助选项: xurlfind3r -h
帮助信息如下: _ __ _ _ _____
__ ___ _ _ __| |/ _(_)_ __ __| |___ / _ __
/ / | | | '__| | |_| | '_ / _` | |_ | '__|
<| |_| | | | | _| | | | | (_| |___) | |
|_|_| |_|_| |_|__,_|____/|_| v0.3.0
USAGE:
xurlfind3r [OPTIONS]
INPUT:
--domain string[] 设置目标域名
--list string 目标域名的列表文件路径
SCOPE:
bool 匹配子域名URL
SOURCES:
bool 列举支持的源
--use-sources string[] 要使用的源,用逗号分隔
--exclude-sources string[] 要排除的源,用逗号分隔
bool 使用wayback,解析robots.txt快照
bool 使用wayback,解析源代码快照
FILTER & MATCH:
--filter string 正则式过滤URL
--match string 正则式匹配URL
OUTPUT:
bool 禁用颜色高亮输出
--output string 输出URL文件路径
--output-directory string 输出URL目录路径
--verbosity string Verbose模式,默认为info
CONFIGURATION:
--configuration string 配置文件路径(默认为~/.hueristiq/xurlfind3r/config.yaml)
(向右滑动,查看更多)
工具使用样例
基础使用: xurlfind3r -d hackerone.com --include-subdomains
过滤器正则表达式: # filter images
xurlfind3r -d hackerone.com --include-subdomains -f '`^https?://[^/]*?/.*.(jpg|jpeg|png|gif|bmp)(?[^s]*)?$`'
(向右滑动,查看更多)
匹配正则表达式: # match js URLs
xurlfind3r -d hackerone.com --include-subdomains -m '^https?://[^/]*?/.*.js(?[^s]*)?$'
(向右滑动,查看更多)
许可证协议
本项目的开发与发布遵循MIT开源许可证协议。 项目地址
xurlfind3r: https://github.com/hueristiq/xurlfind3r 【
原文始发于微信公众号(FreeBuf):如何使用xurlfind3r查找目标域名的已知URL地址
免责声明:文章中涉及的程序(方法)可能带有攻击性,仅供安全研究与教学之用,读者将其信息做其他用途,由读者承担全部法律及连带责任,本站不承担任何法律及连带责任;如有问题可邮件联系(建议使用企业邮箱或有效邮箱,避免邮件被拦截,联系方式见首页),望知悉。
- 左青龙
- 微信扫一扫
-
- 右白虎
- 微信扫一扫
-
评论