2024年AI安全相关动态分析

admin 2024年4月1日10:57:20评论11 views字数 2380阅读7分56秒阅读模式

      近日,关于人工智能在网络安全中的不良应用引起了广泛关注。首先,JFrog 的安全团队发现了Hugging Face平台上至少100个恶意人工智能机器学习模型实例。这些模型中的一些可以在受害者的机器上执行代码,为攻击者提供了一个持久的后门,构成了数据泄露和间谍攻击的重大风险。其次,研究人员发现了一种名为“Morris II”的新型Gen AI蠕虫,能够通过智能提示工程和注入技术欺骗生成式AI应用程序,从而传播恶意软件。这种蠕虫利用对抗性自复制提示,导致生成式AI系统在响应时复制输入作为输出,进而将恶意软件传播给其他AI代理。此外,韩国警方开发了一种Deepfake检测工具,能够在大约5到10分钟内确定视频内容是否是使用AI技术人工生成的。GitHub也在公共测试版中推出了“代码扫描自动修复”功能,旨在帮助开发人员更快地解决代码漏洞。最后,一家名为Midjourney的公司封禁了Stability AI,后者恶意爬取数据致使服务器瘫痪了24小时。这些事件再次凸显了AI在网络安全领域所扮演的双刃剑角色,提醒我们在利用AI技术的同时,也要加强对其潜在风险的警惕和防范。

2024年AI安全相关动态分析

1.Hugging Face “惊现”上百个恶意ML模型

https://www.freebuf.com/news/392830.html

      近日,JFrog 的安全团队发现Hugging Face 平台上至少 100 个恶意人工智能 ML 模型实例,其中一些可以在受害者的机器上执行代码,为攻击者提供了一个持久的后门,构成了数据泄露和间谍攻击的重大风险。

2.Hugging Face平台发现百余恶意AI模型

https://jfrog.com/blog/data-scientists-targeted-by-malicious-hugging-face-ml-models-with-silent-backdoor/

      研究人员在Hugging Face平台上发现了超过100个恶意的人工智能/机器学习(AI/ML)模型。这些模型中的一些能够在受害者的机器上执行代码,为攻击者提供了持久的后门。研究人员表示,这些模型的载荷使攻击者能够在受害者的机器上获得一个shell,从而完全控制受害者的机器,这被通常称为后门。这种悄无声息的渗透可能会让攻击者接触到关键的内部系统,并为大规模数据泄露甚至企业间谍活动铺平道路,不仅影响个别用户,而且可能影响全球范围内的整个组织,同时让受害者完全不知道自己的状态已经受到威胁。特别是,这些恶意模型启动了一个反向shell连接到210.117.212[.]93,这是一个属于韩国研究环境开放网络(KREONET)IP地址。其他带有相同载荷的存储库已经观察到连接到其他IP地址。在一个案例中,模型的作者敦促用户不要下载它,这提出了一个可能性,即发布可能是研究人员或AI从业者的工作。然而,安全研究的一个基本原则是避免发布真正的工作漏洞或恶意代码,这一原则在恶意代码尝试连接回一个真实IP地址时被违反了。这些发现再次强调了潜伏在开源存储库中的威胁,这些存储库可能被用于恶意活动。

3.研究人员发现一种自传播的零点击Gen AI蠕虫

https://sites.google.com/view/compromptmized

      研究人员发现了一种名为“Morris II”的新型Gen AI蠕虫,它能够通过智能提示工程和注入技术欺骗生成式AI应用程序,从而传播恶意软件。这种蠕虫利用对抗性自复制提示,导致生成式AI系统在响应时复制输入作为输出,进而将恶意软件传播给其他AI代理。研究人员强调,设计生成式AI生态系统时,应考虑到由底层Gen AI层引起的威胁。这种蠕虫的自我复制能力使其能够在网络中自主传播,无需攻击者进一步操作。研究人员展示了“Morris II”如何渗透并利用生成式AI驱动的电子邮件系统,展示了其在没有直接人类监督的情况下执行广泛网络攻击的潜力。

4.韩国警方开发Deepfake 检测工具

   https://www.infosecurity-magazine.com/news/south-korea-police-deepfake/

     该工具将能够在大约 5 10 分钟内确定视频内容是否是使用 AI 技术人工生成的。警方表示,该软件有 80% 的概率检测视频是否真实。

5.GitHub 在公共测试版中推出代码扫描自动修复

https://www.securityweek.com/github-rolls-out-code-scanning-autofix-in-public-beta/

GitHub 周三宣布推出代码扫描自动修复的公开测试版,这是一项旨在帮助开发人员更快地解决代码漏洞的新功能。代码扫描自动修复最初于 2023 11 月宣布,依靠 GitHub 的人工智能代码完成工具 Copilot 和语义代码分析引擎 CodeQL 来识别 JavaScriptTypescriptJava Python 存储库中的漏洞,并为其提供修复建议。

6.从Deepfakes到恶意软件,AI在网络攻击中的作用不断扩大

https://thehackernews.com/2024/03/from-deepfakes-to-malware-ais-expanding.html

如今,支持人工智能 (AI) 工具的大型语言模型 (LLM) 可用于开发能够绕过 YARA 规则的自我增强恶意软件。

7.Midjourney封禁Stability AI:恶意爬取数据致服务器瘫痪24小时

https://www.secrss.com/articles/64218

Midjourney Stability AI 拉入黑名单了,禁止后者所有员工使用其软件,直至另行通知。

原文始发于微信公众号(小兵搞安全):2024年AI安全相关动态分析

  • 左青龙
  • 微信扫一扫
  • weinxin
  • 右白虎
  • 微信扫一扫
  • weinxin
admin
  • 本文由 发表于 2024年4月1日10:57:20
  • 转载请保留本文链接(CN-SEC中文网:感谢原作者辛苦付出):
                   2024年AI安全相关动态分析https://cn-sec.com/archives/2618854.html

发表评论

匿名网友 填写信息