猎影观察：在勒索的泥土里，如何阻止大模型开出恶之花？

以ChatGPT为代表的大模型技术在全球引起了巨大的轰动，激烈的竞争迫使每一个市场参与者必须接受并适应这一由技术驱动的范式转变。越来越多的公司开始采用类似的自然语言生成工具，试图在这场技术变革的浪潮中抢占先机。

从媒体、教育到商业领域，无数公司正在探索大型语言模型驱动创新和进步的潜力。各大公司热切地创造、交流、采纳基于生成式AI的解决方案，以保持在各自市场的竞争力。

越来越多的公司都将目光投向了这一领域，期望能够借助ChatGPT的成功经验，推动各自行业的技术升级和创新。

然而，在商业公司还在试错的时候，大模型之恶已蔓延至勒索领域，勒索软件团伙已经将大模型打磨成新型武器，随时做好攻击准备。

2023年7月，HYAS实验室的研究人员展示了他们称之为 BlackMamba 的概念验证攻击，该攻击利用LLM来动态合成多态键盘记录器功能，并称规避了现代EDR系统的安全检测。

一系列迹象表明生成式人工智能逐渐成为网络犯罪分子手中的武器。在不同的暗网论坛上有着很多关于人工智能主题的讨论。随着时间的推移，这些技术只会不断改进和增强。

加密文件附加ransom_enc的后缀，并且构造了勒索内容，在加密目录创建勒索信文件，代码经编译验证成功实现了文件加密的功能。

实验证明，诱导大模型犯罪是可能发生的。即使是一个对勒索软件开发技术没有深入了解的恶意行为者，也能依靠生成式人工智能得到具有加密能力的勒索软件程序。

值得注意的是，编写的勒索软件程序，在没有任何反检测和混淆代码的情况下，在VT上的检出率并不高。

目前已经发现黑客在多个方面利用AI，例如生成更为逼真的、更具迷惑性的钓鱼邮件，或者是生成多态恶意软件以逃避检测等。

虽然目前还没有明确证据显示勒索软件团伙利用生成式人工智能提高攻击效率，但我们有理由相信未来网络安全攻防对抗绕不开大模型之恶。

相比人工分析，AI能够更迅速地应对每天产生的海量样本，提高分析效率，实现对包括勒索软件在内的各类恶意文件攻击的快速响应和精准防护。通过数据飞轮和人工反馈强化学习，大模型可以不断学习和更新，适应新的恶意文件特征和攻击手法，提高方案的持续性和有效性。

最后，需要将编写的检测和防护策略自动部署到终端设备和网络流量监测系统中。目前，恒脑安全垂域大模型已经展现出了一定的任务规划能力，可以通过联动SOAR安全产品实现更加灵活和全面的自动化事件响应。

除了让大模型的“善”与“恶”相互抗衡，我们还应该思考如何从根源上抑制大模型“无意识作恶”。从国内的《生成式人工智能服务管理暂行办法》到欧盟的《人工智能法案》，全球高度关注人工智能伦理与法律风险，多国正在进行对人工智能从框架到细节的治理探索，为自身的人工智能发展提供最基本护栏。

安恒信息同样重视大模型安全问题，秉承“让AI更安全、让安全更智能”的理念，安恒信息率先提出生成式大模型内容安全评估流程。

综合运用技术手段、专业知识和人工审核等各种方式，针对内容安全的主要威胁，根据不同的应用场景、相关法律法规、道德规范，形成了多角度的自动化评估方案。基于该解决方案，我们对全行业主流的大模型做了对应的安全评估，并且将这个过程中发现的问题用于优化改进用于恒脑·安全垂域大模型，极大提升了恒脑内容安全性，打造真正的国产安全可信大模型。

随着技术的发展，我们可以期待一个更加智能和自适应的网络安全环境，安恒研究院将为此不懈努力，直至达成。