如何使用xurlfind3r查找目标域名的已知URL地址

 关于xurlfind3r 

 功能介绍 

1、从被动在线源获取URL地址以实现最大数量结果获取；

2、支持从Wayback网页和robots.txt快照解析URL地址；

3、支持URL匹配和过滤；

4、支持stdin和stdout已实现轻松跟工作流整合；

5、跨平台支持，支持Windows、Linux和macOS；

 支持的在线源 

AlienVault's OTX

BeVigil

Common Crawl

Github

Intelligence X

URLScan

Wayback Machine

 工具安装 

安装发布版本代码（不需要安装Go环境）

wget https://github.com/hueristiq/xurlfind3r/releases/download/v<version>/xurlfind3r-<version>-linux-amd64.tar.gz

（向右滑动，查看更多）

curl -OL https://github.com/hueristiq/xurlfind3r/releases/download/v<version>/xurlfind3r-<version>-linux-amd64.tar.gz

（向右滑动，查看更多）

tar xf xurlfind3r-<version>-linux-amd64.tar.gz

sudo mv xurlfind3r /usr/local/bin/

源码安装（需要安装Go环境）
首先，我们需要在本地设备上安装并配置好最新版本的Go语言环境。接下来，使用go install命令下载该工具即可：

go install -v github.com/hueristiq/xurlfind3r/cmd/xurlfind3r@latest

（向右滑动，查看更多）
除此之外，我们也可以先将项目源码克隆至本地：

git clone https://github.com/hueristiq/xurlfind3r.git

然后构建工具：

cd xurlfind3r/cmd/xurlfind3r &&  go build .

 工具配置 
在使用该工具之前，我们还需要配置相应的API密钥，配置文件为config.yaml：
version: 0.3.0sources:    - bevigil    - commoncrawl    - github    - intelx    - otx    - urlscan    - waybackkeys:    bevigil:        - awA5nvpKU3N8ygkZ    github:        - d23a554bbc1aabb208c9acfbd2dd41ce7fc9db39        - asdsd54bbc1aabb208c9acfbd2dd41ce7fc9db39    intelx:        - 2.intelx.io:00000000-0000-0000-0000-000000000000    urlscan:        - d4c85d34-e425-446e-d4ab-f5a3412acbe8

（向右滑动，查看更多）
 工具使用 
-h参数可以直接查看工具的帮助选项：
xurlfind3r -h

帮助信息如下：

_  __ _           _ _____      __  ___   _ _ __| |/ _(_)_ __   __| |___ / _ __ / / | | | '__| | |_| | '_  / _` | |_ | '__| >  <| |_| | |  | |  _| | | | | (_| |___) | |/_/_\__,_|_|  |_|_| |_|_| |_|__,_|____/|_| v0.3.0USAGE:  xurlfind3r [OPTIONS]INPUT: -d, --domain string[]              设置目标域名 -l, --list string                    目标域名的列表文件路径SCOPE:     --include-subdomains bool       匹配子域名URLSOURCES:      --sources bool                 列举支持的源 -u,  --use-sources string[]          要使用的源，用逗号分隔 -e,  --exclude-sources string[]       要排除的源，用逗号分隔      --parse-wayback-robots bool    使用wayback，解析robots.txt快照      --parse-wayback-source bool    使用wayback，解析源代码快照FILTER & MATCH: -f, --filter string                    正则式过滤URL -m, --match string                 正则式匹配URLOUTPUT:     --no-color bool               禁用颜色高亮输出 -o, --output string                输出URL文件路径 -O, --output-directory string      输出URL目录路径  -v, --verbosity string            Verbose模式，默认为infoCONFIGURATION: -c,  --configuration string   配置文件路径（默认为~/.hueristiq/xurlfind3r/config.yaml）

（向右滑动，查看更多）
 工具使用样例 
基础使用：
xurlfind3r -d hackerone.com --include-subdomains

过滤器正则表达式：

# filter imagesxurlfind3r -d hackerone.com --include-subdomains -f '`^https?://[^/]*?/.*.(jpg|jpeg|png|gif|bmp)(?[^s]*)?$`'

（向右滑动，查看更多）
匹配正则表达式：

# match js URLsxurlfind3r -d hackerone.com --include-subdomains -m '^https?://[^/]*?/.*.js(?[^s]*)?$'

（向右滑动，查看更多）
 许可证协议 
本项目的开发与发布遵循MIT开源许可证协议。
 项目地址 
xurlfind3r：
https://github.com/hueristiq/xurlfind3r
【

原文始发于微信公众号（FreeBuf）：如何使用xurlfind3r查找目标域名的已知URL地址