一、项目介绍
在网络爬虫的的时候大家都会遇到禁止扫描的目录，而这些目录正好是我们信息收集扫描阶段最需要的目录，所以反向操作，收集这些目录名，然后当做作字典进行目录扫描。那么，这么多网站，该如何搜集呢？GitHub上有大神已经帮我们整理了。
二、项目地址
1、https://github.com/danielmiessler/RobotsDisallowed
2、关注下方公众号：逆向有你，回复20220405
好书推荐
《项目驱动零起点学Java》共分 13 章，围绕 6 个项目和 258 个代码示例，分别介绍了走进Java 的世界、变量与数据类型、运算符、流程控制、方法、数组、面向对象、异常、常用类、集合、I/O流、多线程、网络编程相关内容。《项目驱动零起点学Java》总结了马士兵老师从事Java培训十余年来经受了市场检验的教研成果，通过6 个项目以及每章的示例和习题，可以帮助读者快速掌握Java 编程的语法以及算法实现。扫描每章提供的二维码可观看相应章节内容的视频讲解。
加我微信(ivu123ivu)，发送本篇文章的‘点赞’‘在看’及分享朋友圈的截图，
获取抽奖送书福利，仅当天有效。
所有人都可以免费参与抽奖，最后中奖者需要9.9的邮寄费
原文始发于微信公众号（web安全工具库）：目录扫描 -- 从Robots中爬取的高命中目录字典
免责声明:文章中涉及的程序(方法)可能带有攻击性，仅供安全研究与教学之用，读者将其信息做其他用途，由读者承担全部法律及连带责任，本站不承担任何法律及连带责任；如有问题可邮件联系(建议使用企业邮箱或有效邮箱,避免邮件被拦截，联系方式见首页)，望知悉。
- 左青龙
- 微信扫一扫
-
- 右白虎
- 微信扫一扫
-
评论