关于xcrawl3r
xcrawl3r是一款功能强大的网站页面递归爬取CLI工具，该工具本质上是一个基于命令行接口实现的实用工具，可以帮助广大研究人员以递归的形式爬取目标站点的Web页面。值得一提的是，该工具可以系统地浏览网页的URL并通过跟踪链接来发现链接的网站页面URL地址。
功能介绍
1、递归爬取目标Web页面中的URL地址；
2、支持从文件解析URL地址，格式包括.js、.json、.xml、.csv、.txt和.map；
3、支持分析robots.txt中的URL地址；
4、支持分析sitemap中的URL地址；
5、渲染页面（包括单页应用程序，如Angular和React）；
6、支持跨平台（Windows、Linux和macOS）
一、安装go环境
二、下载源码到本地
git clone https://github.com/hueristiq/xcrawl3r.git
三、构建项目
cd xcrawl3r/cmd/xcrawl3r &&
go build .
四、构建完成后，将xcrawl3r代码拷贝到PATH路径下，例如：
sudo mv xcrawl3r /usr/local/bin/
工具使用
下列命令可以直接查看工具的帮助信息：
xcrawl3r -h
本文作者：Alpha_h4ck， 转载请注明来自FreeBuf.COM
关 注 有 礼
欢迎关注公众号：网络安全者
原文始发于微信公众号（网络安全者）：网站页面递归爬取工具 -- xcrawl3r
免责声明:文章中涉及的程序(方法)可能带有攻击性，仅供安全研究与教学之用，读者将其信息做其他用途，由读者承担全部法律及连带责任，本站不承担任何法律及连带责任；如有问题可邮件联系(建议使用企业邮箱或有效邮箱,避免邮件被拦截，联系方式见首页)，望知悉。
- 左青龙
- 微信扫一扫
-
- 右白虎
- 微信扫一扫
-
评论