人工智能开发供应链披露的八个漏洞

人工智能网络安全初创公司Protect AI披露了用于开发内部人工智能和机器学习模型的开源供应链中发现的八个漏洞的详细信息。全部都有 CVE 编号，其中 1 个具有严重严重性，7 个具有高严重性。

这些漏洞通过 Protect AI 的二月份漏洞报告进行披露。他们是：

• CVE-2023-6975：MLFLow 中的任意文件写入，CVSS 9.8
• CVE-2023-6753：在 Windows 上使用 MLFlow、CVSS 9.6 写入任意文件
• CVE-2023-6730：通过 RagRetriever.from_pretrained()、CVSS 9.0 在 Hugging Face Transformers 中实现 RCE
• CVE-2023-6940：MLFlow、CVSS 9.0 中的服务器端模板注入绕过
• CVE-2023-6976：MLFlow、CVSS 8.8 中的任意文件上传补丁绕过
• CVE-2023-31036：通过 Triton 推理服务器、CVSS 7.5 中的任意文件覆盖进行 RCE
• CVE-2023-6909：MLFlow、CVSS 7.5 中包含本地文件
• CVE-2024-0964：Gradio 中的 LFI，CVSS 7.5

开源代码的本质和脆弱性是众所周知的。对于使用 OSS 库的标准代码开发，SBOM 的设计和使用是为了提供一些安全保证。但 SBOM 不能与用于 AI/ML 开发的开源一起使用。

[在2024 年人工智能风险峰会上了解更多信息– 2024 年 6 月，半月湾丽思卡尔顿酒店]

“传统的 SBOM 只能告诉您代码管道中发生了什么，”Protect Ai 联合创始人（也是 AWS 的 AI/ML 解决方案架构师的前全球领导者）Daryan Dehghanpisheh 解释道。 “当你构建人工智能应用程序时，你会拥有三个截然不同的管道，你必须拥有完整的来源。你有一个代码管道，你有一个数据管道，更重要的是，你有机器学习管道。该机器学习管道是创建 AI/ML 模型的地方。它依赖于数据管道，并为代码管道提供数据——但公司对中间的机器学习管道视而不见。”

Protect AI 在另一篇博客中呼吁开发 AI/ML BOM 以补充 SBOM（软件）和 PBOM（产品）：“AI/ML BOM 特别针对 AI 和机器学习系统的元素。它解决了人工智能特有的风险，例如数据中毒和模型偏差，并且由于人工智能模型不断发展的性质，需要不断更新。”

如果没有此 AI/ML BOM，内部开发人员将依赖自己的专业知识或第三方（例如 Protect AI）的专业知识来发现如何在隐藏的机器学习管道中操纵漏洞，从而在最终模型中引入缺陷。部署。

Protect AI 有两种用于 AI/ML 模型漏洞检测的基本方法：扫描和赏金猎人。其于2024 年 1 月推出的Guardian 产品可以使用其 AI/ML 扫描仪 (ModelScan) 的输出来提供安全网关。但该公司的独立赏金猎人社区在发现新漏洞方面特别有效。

该公司于 2023 年 8 月推出了世界上第一个 AI/ML 漏洞赏金计划（称为 Huntr）。“我们的社区现在有近 16,000 名成员，”Dehghanpisheh 说。 “当我们八月份首次推出时，我想我们每周可能会收到三个。现在我们每天已经超过 15 个。”

这些赏金由 Protect AI 的自有资金提供（该公司于 2023 年 7 月推出 Huntr 之前筹集了3500 万美元），但他认为这笔钱花得值。首先，发现漏洞凸显了新技术的复杂性，而使用该技术的开发人员并没有很好地理解这一点，许多传统安全公司也不了解机器学习和人工智能的复杂性。

其次，发现和披露的漏洞数量使该公司在他所谓的“人工智能/机器学习威胁智商”方面处于领先地位。 “这有两个组成部分，”他继续说道。 “第一个是关于已发现漏洞的威胁报告，第二个是我们免费赠送的人工智能利用工具。”

第三个优势是，通过 Huntr 计划的成功达到这一地位，它是一个有效的潜在客户生成工具。 “在我看来，支付这些赏金比支付给销售人员便宜。”

事实证明，huntr 计划在发现漏洞方面是成功的，并且很可能会继续取得成功。每月的威胁报告通过披露猎人发现的漏洞，积极展示了保护内部开发的 ML/AI 模型的复杂性。

原文始发于微信公众号（祺印说信安）：人工智能开发供应链披露的八个漏洞