目录扫描 从Robots中爬取的高命中目录字典

一、项目介绍

在网络爬虫的的时候大家都会遇到禁止扫描的目录，而这些目录正好是我们信息收集扫描阶段最需要的目录，所以反向操作，收集这些目录名，然后当做作字典进行目录扫描。那么，这么多网站，该如何搜集呢？GitHub上有大神已经帮我们整理了。

二、项目地址

1、https://github.com/danielmiessler/RobotsDisallowed

2、关注下方公众号：逆向有你，回复20220405

好书推荐

《项目驱动零起点学Java》共分 13 章，围绕 6 个项目和 258 个代码示例，分别介绍了走进Java 的世界、变量与数据类型、运算符、流程控制、方法、数组、面向对象、异常、常用类、集合、I/O流、多线程、网络编程相关内容。《项目驱动零起点学Java》总结了马士兵老师从事Java培训十余年来经受了市场检验的教研成果，通过6 个项目以及每章的示例和习题，可以帮助读者快速掌握Java 编程的语法以及算法实现。扫描每章提供的二维码可观看相应章节内容的视频讲解。

加我微信(ivu123ivu)，发送本篇文章的‘点赞’‘在看’及分享朋友圈的截图，

获取抽奖送书福利，仅当天有效。

所有人都可以免费参与抽奖，最后中奖者需要9.9的邮寄费

最新每日活动介绍

原文始发于微信公众号（web安全工具库）：目录扫描 -- 从Robots中爬取的高命中目录字典