或许你还记得战胜人类围棋世界冠军的 AlphaGo，或许你还了解战胜Dota 2人类职业玩家的 OpenAI Five，人工智能通过强化学习，已经可以在多种竞技游戏如卡牌、麻将中打败人类。

如果把强化学习引入到网络安全智能攻击里，并且落到实战中，会是什么效果？

8月27日，第11届 KCon 黑客大会线上开播，以“汇聚黑客智慧、专注网络攻防技术交流”为理念，本次大会共筛选出了18大热门干货议题进行分享。

深信服千里目安全技术中心-创新研究院迟程博士带来了《智能WEB安全攻击系统》的分享，为我们剖析了原本依赖于安全专家的实战攻击阶段，用基于强化学习的智能WEB安全攻击系统后，实现了提速60倍的渗透攻击实验结果。

迟程博士提到，过于依赖人力以及安全专家技术和WAF安全能力评估成本高是本课题希望解决的两大问题。在团队对防火墙防护时的工作流程观察中发现，整个流程不断和环境进行交互，和强化学习的设定很相似。

于是，团队基于强化学习设计了整个方案，将攻防对抗作为一个游戏让强化学习智能体去“玩”。

团队设计了绕过动作库类比于玩游戏时的操作动作，安全产品和靶机代表游戏的环境，给智能体反馈告诉它发送的数据包是否绕过防护并成功执行，智能体根据反馈和当前状态（state）来选择下一步变异动作，这样就把攻防对抗问题建模为强化学习问题。

将强化学习引入智能攻击，其实不是一个新鲜的课题。

迟程博士在议题中也分享了国内外团队在该课题上的尝试，但都很难应用到实战攻防对抗中。

目前的商用WAF都会有联动封锁之类的封锁IP的功能，如果在实战中进行大量攻击尝试会导致IP被封，所以在实战中难以发挥出较大的价值。

为了解决这个问题，团队将该方案分为两大环境——训练环境和实战环境。

首先在训练环境中，团队会部署各家厂商的安全设备和漏洞环境，在训练环境中去训练强化学习的智能体学习如何绕过各家厂商的WAF。

而在实战场景中，团队会将训练好的智能体集成在自动化工具或自研的一套工具中，先判断目标的WAF厂商，再根据厂商自动选择强化学习智能体模型，对工具使用到的payload进行变异，绕过防护WAF，达到对目标网站进行渗透测试的目的。

通过两个环境的拆分，智能攻击在实战中就能够做到一击即中的效果。

既然是实战应用，就离不开准确率的评估。传统web fuzz方法会改变payload语义，会导致变异后payload可以绕过WAF，但不能执行攻击。

对于这一点，迟程博士分享道，团队采用的强化学习算法是OpenAI在2017年提出的PPO算法，这样大大提高了准确率。

讲到最后，迟程博士也展示了该课题目前的实验结果。

除了在内部对抗实验中，实现了对公司内部检测引擎的优化，更是在对外的红队检测服务中，达成绕过成功率100%。以往安全专家需要半天到一天的时间搞定一个目标，现在仅需要几分钟，提速60倍以上，大大提升了渗透攻击的效率和准确率！

团队将功能集成到SQLmap工具中，已在数十家用户验证一键注入效果，并获得了多位用户感谢信。

深信服千里目安全技术中心-创新研究院一直致力于安全和云计算领域的核心技术前沿研究，推动技术创新变革与落地，拥有安全和云计算领域500+专利，实现攻击和检测技术的相互赋能，并及时把能力输入到业务线中，实现自身产品的迭代优化。

未来，深信服千里目安全技术中心也将不断提高专业技术造诣，深度洞察网络安全威胁，持续为网络安全赋能。