Httrack工具与使用指南

admin 2021年3月28日03:36:26评论824 views字数 825阅读2分45秒阅读模式

1. HTTrack工具介绍 

    HTTrack是一个网站镜像工具,本来是用来抓取网站做离线浏览用的。但是HTTrack的爬虫特性和搜索引擎蜘蛛爬虫非常的像,这也逐渐应用到 SEO(搜索引擎优化)工作中。其实这两种看似不同的爬虫做的都是同样的工作,就是复制网站并存储下来(网站在搜索引擎中的网页快照就是被存储下来的内容)。


一,命令行执行方式

可以在kali Linux 里输入 httrack

Httrack工具与使用指南

name :  输入你的项目名

base path: 输入存储网站路径  我存储的路径 是tmp 里

扫描方式 我选择2


接下来回车就可以了 


二。图形界面执行方式


HTTrack Website Copier界面如下图所示: 

Httrack工具与使用指南

我们一般用 HTTrack Website Copier 来对网站进行检测或测试,模拟爬虫对受保护服务的爬行、抓取、收录,以来测试我们的防护设备对爬虫的防护。


2. HTTrack工具使用 

第一步:创立项目的名称(工程名) 


第二步:选择操作方式,再点击“添加URL”,将我们的网站地址添加进去。

Httrack工具与使用指南

第三步:进入“选项”,设定爬行和抓取规则等选项

Httrack工具与使用指南

在选项中,取消使用代理进行FTP传输; 

进入“扫描规则”,为HTTrack程序设定爬行和抓取规则,HTTrack里面自带了一些,可以自己设置,也可以默认。

Httrack工具与使用指南

这样的扫描规则搜索引擎也一定会有的,比如不收录.exe文件,zip文件等等。然后不收录一些特定的跟踪链接, 如 ad.doubleclick.net 。你需要把一些搜索引擎爬虫不收录的特征加进去。 

然后在“搜寻”里面,很多的特征都是现在搜索引擎爬虫的特征:

Httrack工具与使用指南

一般的搜索引擎不会接收cookies,因此测试时我们也将此项去掉。 第四步:一般按照以上设置就可以,其他的默认就行。点击下一步:

Httrack工具与使用指南

在此页面,我们不用选择任何项,直接点击完成就可以进行测试了,如下图

Httrack工具与使用指南

 此时,HTTrack开始对网页进行爬行,抓取。

本文始发于微信公众号(LemonSec):Httrack工具与使用指南

  • 左青龙
  • 微信扫一扫
  • weinxin
  • 右白虎
  • 微信扫一扫
  • weinxin
admin
  • 本文由 发表于 2021年3月28日03:36:26
  • 转载请保留本文链接(CN-SEC中文网:感谢原作者辛苦付出):
                   Httrack工具与使用指南https://cn-sec.com/archives/301914.html

发表评论

匿名网友 填写信息