ChatGPT可创建变异恶意软件并逃避EDR检测

ChatGPT在全球引起轰动已是不争的事实，但其在消费者和IT行业中的广泛传播也带来了额外的网络安全风险，安全界开始担心ChatGPT会被用来攻击系统漏洞。国外安全专家表示，ChatGPT和大型语言模型（LLM）能生成多态或变异代码，这些代码具备逃避端点检测和响应（EDR）的能力。

据研究显示，ChatGPT不仅能复制已经编写的代码片段示例，同时还能在每次调用时生成恶意代码的动态或变异版本，从而使安全工具难以检测到由此产生的漏洞利用。

网络安全公司GitGuardian的开发倡导者麦肯齐·杰克逊说：“ChatGPT降低了黑客的门槛，这些会使用AI模型进行攻击的不法者可被视为现代的‘脚本Kiddies’。使用ChatGPT生成的恶意软件并不是突破性的，但随着模型的改进、样本数据的消耗以及不同产品的上市，AI最终可能会制造出只有其他AI系统才能检测到的恶意软件。因此可以说，在这场AI游戏中，哪一方会获胜，谁都不知道。”

ChatGPT和其他LLM都具备内容过滤器，这些内容过滤器可禁止AI服从命令或提示生成有害内容，比如恶意代码。但最新的黑客技术可以绕过内容过滤器。

网络安全公司KSOC的安全研究主管Andrew Josephhides表示：“ChatGPT对该系统制定了一些限制，就是所谓的内容过滤器，其可通过评估问题的上下文来限制ChatGPT提供答案的范围。比如，如果要求ChatGPT为你编写恶意代码，它会拒绝你的请求，但如果要求ChapGPT编写‘能够有效执行谁打算编写的恶意代码’的代码，ChatGPT很可能无法分辨，因此就会为不法者构建相关代码。”

Josephhides说，随着ChatGPT不断更新，“绕过内容过滤器”的方法变得越发困难，但随着不同型号的AI进入市场，我们不能只依赖内容过滤器来防止LLM被用于恶意行为。

ChatGPT是死的，而人是活的，人们可以通过话术诱导使ChatGPT给出其已知和已收集过的恶意代码信息，同时在多次运行后，人们还可以修改和微调同一查询的结果，从而使代码呈现多态性。

就在今年，威胁检测公司HYAS InfoSec的首席安全工程师Jeff Sims发布了一份概念验证白皮书，白皮书主要针对此类漏洞的工作模型。Sims演示了在运行时可使用提示工程和查询ChatGPT API来构建多态键盘记录器，Sims称之为BlackMamba。

本质上，BlackMamba是一个Python可执行文件，它提示ChatGPT的API可构建一个恶意的键盘记录器，该记录器在运行时能对每个调用进行变异，以使其具有多态性，并能规避端点和响应（EDR）过滤器。

Sims说：“Python的exec（）函数是一个内置功能，允许操作者在运行时能够动态执行Python代码。exec（）函数通常用于动态修改程序，这意味着操作者可以在程序运行时，通过执行新代码来修改正在运行程序的行为。”

Sims说，在BlackMamba概念验证中，在收集击键后，数据会通过网络挂钩（一种基于HTTP的回调函数，允许API之间的事件驱动通信）过滤到微软团队的频道。据Sims声称，BlackMamba多次回避了业内较为领先的EDR应用程序，但他没有明说是哪一个。

网络安全公司CyberArk的两名员工，Eran Shimony和Omer Tsarfati，他们表示，他们所创建单独的概念验证程序已证明，恶意软件其本身就会使用ChatGPT。Shimony和Tsarfati为解释概念验证写了一篇博客，其中有内容显示：“该恶意软件包含Python解释器，并会定期查询ChatGPT，以寻找执行恶意操作的新模块。通过向ChatGPT请求代码注入、文件加密或持久性等特定功能，我们可以轻松获得新代码或修改现有代码。”

Tsarfati说：“我们的POC ChattyCaty是一个开源项目，其展示了使用GPT模型可创建多态程序的基础设施。多态性可以用来逃避防病毒和恶意软件程序的检测。”虽然ChattyCat并不适用于特定的恶意软件类型，但与BlackMamba不同，它提供了一个模板来构建各种各样的恶意软件，包括勒索软件和信息窃取程序。

Shimony和Tsarfati还发现，与最初的在线版本相比，ChatGPT API中的内容过滤器较弱。Shimony和Tsarfati在他们的博客中写道：“有趣的是，当使用API时，ChatGPT系统似乎根本没有使用其内容过滤器。不清楚为什么会出现这种情况，但它使我们的任务变得更容易，因为web版本往往被更复杂的请求所困扰。”

当下，世界各国政府都在努力解决AI监管问题，而中国是迄今为止唯一颁布相关法规的大国。

Forrester分析师Jeff Pollard表示：“目前，控制AI问题的解决方案似乎变成了‘增加更多AI’，我认为这是不现实的。为了给这些解决方案添加正确的控制层，我们需要更好地解释和观察系统中的上下文，同时应该与API集成，提供有意义的细节，并提供相应的管理功能。”

然而，分析师和咨询公司Enterprise Management Associate的研究总监Chris Steffen表示，生成监管性AI是很困难的，因为科技行业仍处于了解AI功能的初级阶段。

Steffen说：“监管性AI之所以是一个‘可怕的前景’，这是因为ChatGPT拥有着无限可能性，因此我们不能轻易地为它设定框架，它几乎涵盖了GPT实例可能涵盖的所有情况，所以，如何监管、如何使用流程以及谁来负责等问题，会成为这个话题中拥有绕不开也无法解决的难点。”