2024年AI安全相关动态分析

      近日，关于人工智能在网络安全中的不良应用引起了广泛关注。首先，JFrog 的安全团队发现了Hugging Face平台上至少100个恶意人工智能机器学习模型实例。这些模型中的一些可以在受害者的机器上执行代码，为攻击者提供了一个持久的后门，构成了数据泄露和间谍攻击的重大风险。其次，研究人员发现了一种名为“Morris II”的新型Gen AI蠕虫，能够通过智能提示工程和注入技术欺骗生成式AI应用程序，从而传播恶意软件。这种蠕虫利用对抗性自复制提示，导致生成式AI系统在响应时复制输入作为输出，进而将恶意软件传播给其他AI代理。此外，韩国警方开发了一种Deepfake检测工具，能够在大约5到10分钟内确定视频内容是否是使用AI技术人工生成的。GitHub也在公共测试版中推出了“代码扫描自动修复”功能，旨在帮助开发人员更快地解决代码漏洞。最后，一家名为Midjourney的公司封禁了Stability AI，后者恶意爬取数据致使服务器瘫痪了24小时。这些事件再次凸显了AI在网络安全领域所扮演的双刃剑角色，提醒我们在利用AI技术的同时，也要加强对其潜在风险的警惕和防范。

1.Hugging Face “惊现”上百个恶意ML模型

https://www.freebuf.com/news/392830.html

      近日，JFrog 的安全团队发现Hugging Face 平台上至少 100 个恶意人工智能 ML 模型实例，其中一些可以在受害者的机器上执行代码，为攻击者提供了一个持久的后门，构成了数据泄露和间谍攻击的重大风险。

2.Hugging Face平台发现百余恶意AI模型

https://jfrog.com/blog/data-scientists-targeted-by-malicious-hugging-face-ml-models-with-silent-backdoor/

      研究人员在Hugging Face平台上发现了超过100个恶意的人工智能/机器学习(AI/ML)模型。这些模型中的一些能够在受害者的机器上执行代码，为攻击者提供了持久的后门。研究人员表示，这些模型的载荷使攻击者能够在受害者的机器上获得一个shell，从而完全控制受害者的机器，这被通常称为“后门”。这种悄无声息的渗透可能会让攻击者接触到关键的内部系统，并为大规模数据泄露甚至企业间谍活动铺平道路，不仅影响个别用户，而且可能影响全球范围内的整个组织，同时让受害者完全不知道自己的状态已经受到威胁。特别是，这些恶意模型启动了一个反向shell连接到210.117.212[.]93，这是一个属于韩国研究环境开放网络(KREONET)的IP地址。其他带有相同载荷的存储库已经观察到连接到其他IP地址。在一个案例中，模型的作者敦促用户不要下载它，这提出了一个可能性，即发布可能是研究人员或AI从业者的工作。然而，安全研究的一个基本原则是避免发布真正的工作漏洞或恶意代码，这一原则在恶意代码尝试连接回一个真实IP地址时被违反了。这些发现再次强调了潜伏在开源存储库中的威胁，这些存储库可能被用于恶意活动。

3.研究人员发现一种自传播的零点击Gen AI蠕虫

https://sites.google.com/view/compromptmized

      研究人员发现了一种名为“Morris II”的新型Gen AI蠕虫，它能够通过智能提示工程和注入技术欺骗生成式AI应用程序，从而传播恶意软件。这种蠕虫利用对抗性自复制提示，导致生成式AI系统在响应时复制输入作为输出，进而将恶意软件传播给其他AI代理。研究人员强调，设计生成式AI生态系统时，应考虑到由底层Gen AI层引起的威胁。这种蠕虫的自我复制能力使其能够在网络中自主传播，无需攻击者进一步操作。研究人员展示了“Morris II”如何渗透并利用生成式AI驱动的电子邮件系统，展示了其在没有直接人类监督的情况下执行广泛网络攻击的潜力。

4.韩国警方开发Deepfake 检测工具

   https://www.infosecurity-magazine.com/news/south-korea-police-deepfake/

     该工具将能够在大约 5 到 10 分钟内确定视频内容是否是使用 AI 技术人工生成的。警方表示，该软件有 80% 的概率检测视频是否真实。

5.GitHub 在公共测试版中推出“代码扫描自动修复”

https://www.securityweek.com/github-rolls-out-code-scanning-autofix-in-public-beta/

GitHub 周三宣布推出代码扫描自动修复的公开测试版，这是一项旨在帮助开发人员更快地解决代码漏洞的新功能。代码扫描自动修复最初于 2023 年 11 月宣布，依靠 GitHub 的人工智能代码完成工具 Copilot 和语义代码分析引擎 CodeQL 来识别 JavaScript、Typescript、Java 和 Python 存储库中的漏洞，并为其提供修复建议。

6.从Deepfakes到恶意软件,AI在网络攻击中的作用不断扩大

https://thehackernews.com/2024/03/from-deepfakes-to-malware-ais-expanding.html

如今，支持人工智能 (AI) 工具的大型语言模型 (LLM) 可用于开发能够绕过 YARA 规则的自我增强恶意软件。

7.Midjourney封禁Stability AI：恶意爬取数据致服务器瘫痪24小时

https://www.secrss.com/articles/64218

Midjourney 把 Stability AI 拉入黑名单了，禁止后者所有员工使用其软件，直至另行通知。

原文始发于微信公众号（小兵搞安全）：2024年AI安全相关动态分析