ShadowLogic 攻击针对 AI 模型图来创建无代码后门

admin 2024年10月13日01:09:23评论22 views字数 4079阅读13分35秒阅读模式

导 

人工智能安全公司 HiddenLayer 报告称,通过操纵人工智能模型的图表,可以在机器学习模型中植入无代码、持久的后门。

该技术被称为ShadowLogic,依赖于操纵模型架构的计算图形表示来触发下游应用程序中攻击者定义的行为,从而为 AI 供应链攻击打开大门。

ShadowLogic 攻击针对 AI 模型图来创建无代码后门

传统后门旨在绕过安全控制,提供对系统的未经授权的访问,而人工智能模型也可能被滥用来在系统上创建后门,或者被劫持以产生攻击者定义的结果,尽管模型的变化可能会影响这些后门。

HiddenLayer 表示,通过使用 ShadowLogic 方法,威胁组织可以在 ML 模型中植入无代码后门,这些后门将在微调后持续存在,并可用于高度针对性的攻击。

从先前的研究开始,该研究展示了如何在模型的训练阶段通过设置特定的触发器来激活隐藏行为来实现后门,HiddenLayer 研究了如何在没有训练阶段的情况下将后门注入神经网络的计算图中。

“计算图是神经网络在前向和后向传播阶段的各种计算操作的数学表示。简单来说,它是模型在典型操作中遵循的拓扑控制流。”HiddenLayer 解释道。

这些图描述了通过神经网络的数据流,包含表示数据输入、执行的数学运算和学习参数的节点。

该安全公司指出:“与编译的可执行文件中的代码非常相似,我们可以为机器(或在本例中为模型)指定一组要执行的指令。”

后门会覆盖模型逻辑的结果,并且只有在特定输入触发激活“影子逻辑”时才会激活。对于图像分类器,触发器应该是图像的一部分,例如像素、关键字或句子。

HiddenLayer 表示:“由于大多数计算图支持的操作范围很广,因此还可以设计基于输入校验和激活的影子逻辑,或者在高级情况下,甚至可以将完全独立的模型嵌入到现有模型中作为触发器。”

在分析了提取和处理图像时执行的步骤后,该安全公司创建了针对 ResNet 图像分类模型、YOLO(You Only Look Once)实时物体检测系统以及用于摘要和聊天机器人的 Phi-3 Mini 小型语言模型的影子逻辑。

被植入后门的模型会正常运行,并提供与正常模型相同的性能。然而,当提供包含触发器的图像时,它们会表现不同,输出相当于二进制 True 或 False 的内容,无法检测到人,并生成受控令牌。

HiddenLayer 指出,ShadowLogic 等后门引入了一类新的模型漏洞,这些漏洞不需要代码执行漏洞,因为它们嵌入在模型结构中,更难检测。

此外,它们与格式无关,并且可以注入任何支持基于图形的架构的模型中,无论该模型是针对哪个领域进行训练的,无论是自动导航、网络安全、金融预测还是医疗诊断。

HiddenLayer 表示:“无论是对象检测、自然语言处理、欺诈检测还是网络安全模型,都没有免疫力,这意味着攻击者可以攻击任何人工智能系统,从简单的二元分类器到复杂的多模态系统,如高级大型语言模型 (LLM),大大扩展了潜在受害者的范围。”

详细报告:https://hiddenlayer.com/research/shadowlogic/

新闻链接:

https://www.securityweek.com/shadowlogic-attack-targets-ai-model-graphs-to-create-codeless-backdoors/

ShadowLogic 攻击针对 AI 模型图来创建无代码后门

今日安全资讯速递

APT事件

Advanced Persistent Threat

网络间谍GoldenJackal瞄准欧洲政府组织的隔离网络系统

https://www.securityweek.com/cyberspies-target-air-gapped-systems-at-european-government-organization/

CISA 和 FBI 警告政治竞选活动谨防伊朗网络钓鱼攻击

https://www.securityweek.com/us-agencies-warn-political-campaigns-of-iranian-phishing-attacks/

朝鲜黑客利用虚假招聘在线面试感染跨平台恶意软件

https://thehackernews.com/2024/10/n-korean-hackers-use-fake-interviews-to.html

美国、英国警告俄罗斯 APT29 黑客瞄准 Zimbra、TeamCity 服务器

https://www.bleepingcomputer.com/news/security/us-uk-warn-of-russian-apt29-hackers-targeting-zimbra-teamcity-servers/

摩尔多瓦遭遇虚假信息攻击

https://www.infosecurity-magazine.com/news/disinformation-targets-moldova-eu/

OpenAI 阻止了 20 起利用人工智能进行网络犯罪和虚假信息传播的全球恶意活动

https://thehackernews.com/2024/10/openai-blocks-20-global-malicious.html

一般威胁事件

General Threat Incidents

3100 万用户受到互联网档案馆黑客攻击的影响

https://www.securityweek.com/31-million-users-affected-by-internet-archive-hack/

网络犯罪分子利用 Unicode 在电子商务平台中隐藏蒙古文窃取器

https://thehackernews.com/2024/10/cybercriminals-use-unicode-to-hide.html

Akira 和 Fog 勒索软件利用关键的 Veeam RCE 漏洞

https://www.bleepingcomputer.com/news/security/akira-and-fog-ransomware-now-exploiting-critical-veeam-rce-flaw/

地下勒索软件声称攻击卡西欧并泄露被盗数据

https://www.bleepingcomputer.com/news/security/underground-ransomware-claims-attack-on-casio-leaks-stolen-data/

富达向 77,000 名客户通报数据泄露事件:

https://www.darkreading.com/cyberattacks-data-breaches/fidelity-notifies-77k-customers-data-breach

漏洞事件

Vulnerability Incidents

GitLab 警告存在严重的任意分支管道执行漏洞

https://www.bleepingcomputer.com/news/security/gitlab-warns-of-critical-arbitrary-branch-pipeline-execution-flaw/

CISA 称关键的 Fortinet RCE 漏洞现已被利用于攻击

https://www.bleepingcomputer.com/news/security/cisa-says-critical-fortinet-rce-flaw-now-exploited-in-attacks/

Palo Alto Networks 警告防火墙劫持漏洞存在公开漏洞

https://www.bleepingcomputer.com/news/security/palo-alto-networks-warns-of-firewall-hijack-bugs-with-public-exploit/

Firefox 131 更新修复0day漏洞(CVE-2024-9680)

https://www.securityweek.com/firefox-131-update-patches-exploited-zero-day-vulnerability/

CISA警告 Fortinet FortiOS 漏洞可能遭利用

https://www.securityweek.com/organizations-warned-of-exploited-fortinet-fortios-vulnerability/

专家警告 Linear eMerge E3 系统存在未修补的严重漏洞

https://thehackernews.com/2024/10/experts-warn-of-critical-unpatched.html

macOS Sequoia 和 iOS 18 中的 iPhone Mirroring 功能可能会将员工的私人应用程序暴露给企业 IT 环境

https://www.securityweek.com/iphone-mirroring-exposes-employees-personal-applications/

Ivanti 警告客户,更多 CSA 零日漏洞正被用于攻击

https://www.securityweek.com/ivanti-warns-customers-of-more-csa-zero-days-exploited-in-attacks/

ICS 补丁日:西门子、施耐德、菲尼克斯电气、CERT@VDE 发布安全公告

https://www.securityweek.com/ics-patch-tuesday-advisories-published-by-siemens-schneider-phoenix-contact-certvde/

研究人员发现工业 MMS 协议库中存在重大安全漏洞

https://thehackernews.com/2024/10/researchers-uncover-major-security.html

ShadowLogic 攻击针对 AI 模型图来创建无代码后门

扫码关注

军哥网络安全读报

讲述普通人能听懂的安全故事

原文始发于微信公众号(军哥网络安全读报):ShadowLogic 攻击针对 AI 模型图来创建无代码后门

  • 左青龙
  • 微信扫一扫
  • weinxin
  • 右白虎
  • 微信扫一扫
  • weinxin
admin
  • 本文由 发表于 2024年10月13日01:09:23
  • 转载请保留本文链接(CN-SEC中文网:感谢原作者辛苦付出):
                   ShadowLogic 攻击针对 AI 模型图来创建无代码后门http://cn-sec.com/archives/3257911.html

发表评论

匿名网友 填写信息