模拟攻击手动构建真实HTTP数据集

自从对nginx的日志进行收集以来，每天能收集到1万行左右的日志，其中有一些是具备攻击威胁的日志，人工巡检以及凭借经验是不足以及时、准确、全面发现攻击威胁的。在阅读一些文献后了解到，主流的威胁发现方法主要有基于规则和基于机器学习，而且基于机器学习的web攻击检测是发展的方向，因此计划研究基于机器学习的方式来对收集到的nginx日志 进行分类，发现其中的威胁。

需要足够的数据集。从收集到的nginx日志来看，去重后的日志量还是偏少的，因此，考虑人工创建一些攻击请求，从而来丰富日志，进而达到丰富http数据集的目的。

1、使用awvs对网站进行漏洞扫描

本地运行awvs扫描器，对网站进行一次全面的扫描，产生的大量的http请求将会被日志采集器采集到并保存到数据库中，通过主动扫描可以增加39949行日志。

2、使用dirb以及dirsearch对网站进行目录扫描

结合dirsearch和dirb两个工具进行Web目录扫描，可以显著提升扫描的覆盖面和深度，进而使得生成的日志数据更加丰富多样。dirsearch以其多线程、灵活的配置选项（如支持多种文件后缀、正则表达式匹配、自定义扩展名等）著称，能够在单次扫描中产生约11460行日志数据。这些日志条目反映了目标网站的目录结构、潜在的敏感文件和可访问资源，对于安全审计和渗透测试来说是宝贵的信息来源。

而dirb作为一个经典的目录爆破工具，虽然可能在并发性和一些高级功能上不如dirsearch现代，但它有其独特的字典管理和递归扫描能力，能够发现不同的路径和资源，尤其是在特定场景下可能更为有效。将dirb的扫描结果与dirsearch的合并，可以互补两者之间的差异，增加日志的特征种类，比如发现dirsearch可能遗漏的老旧或特定格式的资源。

3、使用sqlmap对网站进行sql注入扫描

sqlmap -u https://www.nphot.com/jumplink/57 --level=5 --risk=3 -a

选取一个url路径，运行sqlmap进行一次全面的sql注入扫描，创造大量的具有攻击威胁的日志。

这种通过手动模拟扫描攻击的方式，产生的日志来源于真实环境，日志数据集不仅规模庞大，而且包含各种HTTP响应状态码、请求路径、服务器行为等多维度信息，非常适合用于安全研究、机器学习模型的训练、或者分析网站的安全态势，以识别潜在的安全威胁和漏洞。通过综合分析这些扫描结果，安全专业人员能够更全面地评估目标系统的安全性，并据此采取相应的加固措施

最后看一看扫描对服务器的压力情况

原文始发于微信公众号（核点点）：模拟攻击手动构建真实HTTP数据集