人工智能可以发现基础设施软件中的漏洞吗？

未来一年，七支团队将完善人工智能系统，旨在强化关键基础设施所依赖的开源软件。

获胜者将在明年的 DEF CON 黑客大会上宣布。

这些团队都是人工智能网络挑战赛（AIxCC）上一轮得分最高的团队，每人获得200 万美元奖金以继续他们的工作。

美国大部分基础设施都运行在开源工具上，这些工具可以免费使用，而且易于修改。

代码是公开的，这意味着任何人都可以寻找漏洞或漏洞，以利用或修复。

该竞赛由 DARPA 和美国卫生高级研究计划署 (ARPA-H) 举办，旨在开发更好的工具来实现后者。

根据竞赛规则，参赛团队必须同意开源他们的系统。

我们发现，考虑到代码在全国各地电力、水利和医疗保健等关键系统中的使用频率，开源软件社区的资源并不理想。 

根据 DARPA 官员周日提供的一份总结，约有 39 支队伍参赛。

在比赛中，DARPA 采用了真正的开源软件包，并故意在其代码中插入漏洞。

由于组织者确切知道漏洞被添加到何处以及何种类型，因此他们可以准确评估参赛者的努力。

比赛采用了先进的工具，即所谓的清理器（用于检测特定类型代码缺陷的数字仪器），这些工具集成到经过修改的开源项目中，因此可以轻松衡量团队如何针对特定漏洞。

其中一些漏洞是受已知漏洞启发而来的，但考虑到现实世界中黑客经常修改和创新技术，许多漏洞都是新创建的。

亚特兰大团队在 SQLite（一种用于搜索数据库的流行语言）中发现了一个真正的漏洞。

此次比赛的部分动机是过去 18 个月中出现的大型语言模型，这些模型是面向消费者的热门生成式 AI 工具背后的推动力。

许多推出此类产品的大公司，包括 Anthropic 和 OpenAI，都在黑客大会上向竞争对手提供了他们的模型基础设施。

我们和其他人一样，对生成式人工智能的风险感到担忧。我们也在问自己，我们是否可以利用它们来做好事，或者如何利用它们来应对[网络安全]风险。

AIxCC 竞赛将为医疗行业带来福音。采用人工智能网络工具将极大地惠及小型医疗公司，尤其是因为他们缺乏技术人员和专业知识。 

ARPA-H 仅成立两年，但这样的项目对医疗保健行业至关重要。

医疗保健行业是黑客最喜欢的目标，因为医院存储着敏感的患者数据，这些数据如果被盗，可用于身份盗窃和欺诈计划。 

我们的使命是加速改善健康状况，由于这些弱点仍然存在，这确实影响着所有美国人的健康状况。

情报官员记录的大量案例表明，民族国家组织已经侵入美国关键基础设施。官员们表示，这些黑客正准备破坏系统并引起大范围恐慌或破坏军事努力。

今年早些时候，开源社区面临一种新型威胁，一名代号为“Jia Tan”的用户试图悄悄地在 XZ Utils 中植入后门。

XZ Utils 是一款广泛使用的文件传输工具，在多个 Linux 版本中都有发现，这些版本为全球各大公司的软件提供支持。

分析人士称，Jia Tan 可能是一群国家黑客策划的长期游戏，旨在秘密劫持该工具。

解决开源安全问题已成为拜登政府的重点工作。

国家网络总监办公室发布了一份报告，总结了安全界对改善开源安全的反馈。

据报道，国土安全部周五宣布成立的一个新办公室也将致力于检查关键基础设施内部开源工具的数量，以及如何最好地保护它们免受黑客攻击。

将开源工具从关键基础设施系统中完全抛弃作为保护措施将过于困难。

现实情况是，如今很多商业解决方案都集成了开源技术。模拟不能反映现实生活的环境是没有意义的。

Synopsys 提供的 2024 年开源安全和风险分析报告发现，在 1,000 多个商业代码库中，超过 96% 的代码库存在开源组件，其中 84% 的代码库包含至少一个已知漏洞。

原文始发于微信公众号（网络研究观）：人工智能可以发现基础设施软件中的漏洞吗？