从深度伪造到恶意软件：网络安全迎来AI新挑战

如今，有越来越多的恶意行为者开始利用AI大语言模型开发能够绕过 YARA 规则的自我增强型恶意软件。

根据近日Recorded Future 发布的一份新报告：AI可以通过增强小型恶意软件变种的源代码来规避基于字符串的 YARA 规则，从而有效降低检测率。

目前，已经有威胁行为者在尝试使用AI技术来创建恶意软件代码片段、生成网络钓鱼电子邮件以及对潜在目标进行侦查。

这家网络安全公司称，它向一个大模型提交了一款与 APT28 黑客组织有关联的名为 STEELHOOK 的已知恶意软件，同时还提交了其 YARA 规则，要求它修改源代码以躲避检测，这样就能保持原有功能不变，而且生成的源代码在语法上没有错误。有了这种反馈机制，由大模型生成的经过修改的恶意软件就有可能躲过基于字符串的简单 YARA 规则的检测。

但这种方法也有局限性，比如大模型一次可处理的输入文本量，这使得它很难在较大的代码库中运行。

除了修改恶意软件以外，这种人工智能工具还可用于创建假冒高级管理人员和领导人的深度假冒程序，并大规模模仿合法网站开展影响行动。

此外，生成式AI还有望加快威胁行为者对关键基础设施进行侦察和收集信息的能力，这些信息可能在后续攻击中具有战略用途。

该公司表示：通过利用多模态模型，除了航拍图像外，ICS 和制造设备的公共图像和视频也可被解析和丰富，以找到更多的元数据，如地理位置、设备制造商、型号和软件版本。

事实上，微软和OpenAI上个月就警告称，APT28利用LLMs 获取了卫星通信协议、雷达成像技术和特定技术参数，这说明他们正在深入了解卫星能力。因此，微软和OpenAI建议各组织仔细检查可公开访问的描述敏感设备的图片和视频，并在必要时删除它们，以降低此类威胁带来的风险。

就在这项研究取得进展的同时，还有学者发现，有可能通过传递 ASCII 艺术形式的输入（例如，"如何制造炸弹"，其中 BOMB 一词是用字符 "*"和空格写成的），越狱 LLM 驱动的工具并生成有害内容。

这种实际攻击被称为 ArtPrompt，它利用 LLM 在识别 ASCII 艺术方面的低劣性能，绕过安全措施，从而诱发 LLM 的不良行为。

原文来自: freebuf.com