sigurlfind3r：一款功能强大的被动网络侦察工具

来自 | FreeBuf

关于sigurlfind3r

sigurlfind3r是一款功能强大的被动网络侦察工具，该工具主要针对的是已知的URL搜索，并且可以使用各种在线源并以被动方式收集URL列表。

功能介绍

收集已知URL：可从AlienVault’s OTX、Common Crawl、URLScan、Github和Wayback Machine获取数据，可以从txt获取禁用路径；

降低噪声：通过正则表达式过滤URL，移除URL中的重复页面；

输出至stdout或存储至文件；

工具安装

预构建源码下载

我们可以直接访问该项目的【Releases页面】下载针对自己平台的预构建源码。下载完成之后，提取源码文件，并将其移动指$PATH路径下即可直接使用。

源码获取

sigurlfind3r要求本地主机安装并配置好Go v1.14+环境，配置好后就可以直接使用下列命令下载并安装sigurlfind3r了：

GO111MODULE=on go get -u -v github.com/signedsecurity/sigurlfind3r/cmd/sigurlfind3r

从GitHub安装
git clone https://github.com/signedsecurity/sigurlfind3r.git && cd sigurlfind3r/cmd/sigurlfind3r/ && go build; mv sigurlfind3r /usr/local/bin/ && sigurlfind3r -h

工具配置
sigurlfind3r在安装完成之后，还需要进行适当的配置，这里你将需要获取API密钥。
这个API密钥存储在$HOME/.config/sigurlfind3r/conf.yaml之中。参考样例如下：
version: 1.5.0sources:    - commoncrawl    - github    - otx    - urlscan    - wayback    - waybackrobotskeys:    github:        - d23a554bbc1aabb208c9acfbd2dd41ce7fc9db39        - asdsd54bbc1aabb208c9acfbd2dd41ce7fc9db39

工具使用
提示：从GitHub爬取URL的话可能速度会比较慢。
sigurlfind3r -h

上述命令将会显示如下信息：
_                  _  __ _           _ _____
 ___(_) __ _ _   _ _ __| |/ _(_)_ __   __| |___ / _ __
/ __| |/ _` | | | | '__| | |_| | '_  / _` | |_ | '__|
__  | (_| | |_| | |  | |  _| | | | | (_| |___) | |
|___/_|__, |__,_|_|  |_|_| |_|_| |_|__,_|____/|_| 1.5.0
       |___/USAGE:  sigurlfind3r [OPTIONS]OPTIONS:   -d, --domain            domain to fetch urls for  -eS, --exclude-sources   comma(,) separated list of sources to exclude   -f, --filter            URL filtering regex  -iS, --include-subs      include subdomains' urls  -lS, --list-sources      list all the available sources  -nC, --no-color          no color mode   -s  --silent            silent mode: output urls only  -uS, --use-sources       comma(,) separated list of sources to use   -o, --output            output file

使用样例
基础使用
sigurlfind3r -d tesla.com

正则表达式过滤URL
sigurlfind3r -d tesla.com -f ".(jpg|jpeg|gif|png|ico|css|eot|tif|tiff|ttf|woff|woff2)"

包含子域名URL
sigurlfind3r -d tesla.com -iS

版权申明：内容来源网络，版权归原创者所有。除非无法确认，都会标明作者及出处，如有侵权烦请告知，我们会立即删除并致歉。谢谢!




原文始发于微信公众号（程序员阿甘）：sigurlfind3r：一款功能强大的被动网络侦察工具