关于xcrawl3r
xcrawl3r是一款功能强大的网站页面递归爬取CLI工具,该工具本质上是一个基于命令行接口实现的实用工具,可以帮助广大研究人员以递归的形式爬取目标站点的Web页面。值得一提的是,该工具可以系统地浏览网页的URL并通过跟踪链接来发现链接的网站页面URL地址。
功能介绍
1、递归爬取目标Web页面中的URL地址;
2、支持从文件解析URL地址,格式包括.js、.json、.xml、.csv、.txt和.map;
3、支持分析robots.txt中的URL地址;
4、支持分析sitemap中的URL地址;
5、渲染页面(包括单页应用程序,如Angular和React);
6、支持跨平台(Windows、Linux和macOS)
一、安装go环境
二、下载源码到本地
git clone https://github.com/hueristiq/xcrawl3r.git
三、构建项目
cd xcrawl3r/cmd/xcrawl3r &&
go build .
四、构建完成后,将xcrawl3r代码拷贝到PATH路径下,例如:
sudo mv xcrawl3r /usr/local/bin/
工具使用
下列命令可以直接查看工具的帮助信息:
xcrawl3r -h
本文作者:Alpha_h4ck, 转载请注明来自FreeBuf.COM
关 注 有 礼
欢迎关注公众号:网络安全者
原文始发于微信公众号(网络安全者):网站页面递归爬取工具 -- xcrawl3r
- 我的微信
- 微信扫一扫
-
- 我的微信公众号
- 微信扫一扫
-
评论