网站页面递归爬取工具 xcrawl3r

关于xcrawl3r

xcrawl3r是一款功能强大的网站页面递归爬取CLI工具，该工具本质上是一个基于命令行接口实现的实用工具，可以帮助广大研究人员以递归的形式爬取目标站点的Web页面。值得一提的是，该工具可以系统地浏览网页的URL并通过跟踪链接来发现链接的网站页面URL地址。

功能介绍

1、递归爬取目标Web页面中的URL地址；

2、支持从文件解析URL地址，格式包括.js、.json、.xml、.csv、.txt和.map；

3、支持分析robots.txt中的URL地址；

4、支持分析sitemap中的URL地址；

5、渲染页面（包括单页应用程序，如Angular和React）；

6、支持跨平台（Windows、Linux和macOS）

一、安装go环境

二、下载源码到本地

git clone https://github.com/hueristiq/xcrawl3r.git

三、构建项目

cd xcrawl3r/cmd/xcrawl3r && 

go build .

四、构建完成后，将xcrawl3r代码拷贝到PATH路径下，例如：

sudo mv xcrawl3r /usr/local/bin/

工具使用

下列命令可以直接查看工具的帮助信息：

xcrawl3r -h

本文作者：Alpha_h4ck， 转载请注明来自FreeBuf.COM

关 注 有 礼

欢迎关注公众号：网络安全者

原文始发于微信公众号（网络安全者）：网站页面递归爬取工具 -- xcrawl3r