安全采用人工智能的四大技巧

正如Coatue最新报告所揭示的，全球企业正以令人瞩目的速度拥抱人工智能，其增势之迅猛，甚至可与早期互联网普及相媲美，且增长率翻倍。

随着企业加速推进基于AI的软件开发解决方案，安全团队正面临双重挑战：既要激发创新活力，又需适时“制动”，以防范AI工具可能引发的风险，诸如不安全的代码建议与“库幻觉”等潜在隐患。

在Infosecurity Europe 2024盛会上，Snyk高级产品营销经理Liqian Lim与NatWest Boxed & Mettle首席信息安全官Kevin Fielder进行了深入对话。

双方围绕AI技术带来的风险与机遇进行了广泛探讨，并为有志于安全采纳这一强大技术的首席信息安全官们提出了宝贵建议。以下是他们总结的关键要点：

在您的业务版图中，不同领域承载着各异的风险等级与关键性。

在非核心领域部署人工智能，或许不会对整体安全水平造成显著影响，然而，一旦在业务的关键支柱上引入AI，其潜在影响便可能深刻改变风险格局，直接威胁到敏感资产的安全。

因此，首席信息安全官在策略性地管理AI安全事务时，若能精准聚焦那些潜藏最大风险的领域，便能更有效地分配时间与资源，实现事半功倍。

Fielder的见解尤为深刻：“以AI优化客户服务为例，从AppSec的角度来看，其带来的风险相对较低，但务必根据您所在行业的特性，识别并谨慎应对那些高风险区域。在这些领域，我们应秉持稳健步伐，采取极度审慎的态度。”

这一观点强调了定制化风险评估与策略规划的重要性，确保AI技术的部署既促进业务发展，又严守安全底线。

大型语言模型（LLM）凭借其从海量历史提示中汲取的智慧，展现出了惊人的能力，能够洞悉人类偏好并生成相似内容。

然而，这一特性也潜藏着风险：LLM可能基于人类不经意的提示，编织出误导性的理由，以支撑其结论，仿佛它已洞悉并迎合了我们的预期。

因此，企业切不可单纯依赖LLM自我宣称的安全等级或决策依据。

相反，为确保AI生成代码的安全性与质量，我们必须借助多元化的评估手段与资源。

Fielder在此强调了正确测试AI生成信息及在高风险区域融入人机交互的关键性。他指出，尽管AI代码测试看似与其他类型代码测试有共通之处，但实际上，它要求我们能够迅速适应AI生成代码的速度与规模，这是一项重大挑战。

为此，Fielder建议，在部署AI生成代码的同时，必须构建坚实的“护栏”体系，确保所有输出都经过严格的测试与保护流程。

这样做不仅能够验证代码的正确性，还能有效抵御潜在的安全风险，确保AI技术的应用始终在可控且安全的轨道上前行。

他将这些关键的护栏分解为三个步骤：

▪  执行代码审查

▪  添加对等验证

▪  扫码做单元测试

演讲者还提到了了解AI工具使用哪些训练模型来产生输出，并鼓励负责训练的团队采取预防措施的重要性。

对于AI工具的训练模型保持谨慎至关重要，因为如果不对训练数据进行选择，攻击者可能会利用诸如提示注入等攻击方法来利用您的系统。

当恶意用户策略性地促使大型语言模型（LLMs）执行其预期范围之外的任务时，就会发生这些攻击。您可以通过保持熟练人员的参与，并使用输入验证来阻止带有恶意活动迹象的提示，来保护您的训练模型免受恶意提示的侵扰和使用。

用Fielder的话来说，“安全团队不一定参与训练过程，但他们可以指导人们如何进行训练以及需要考虑的事项：如果有人问错了问题怎么办？如果输入了错误的信息怎么办？我们该如何管理这种情况？如果它学到了错误的东西，我们如何让它忘记这些信息？”

此外，这些建议还可以帮助您就第三方供应商的AI解决方案提出问题，并更深入地了解其训练模型。一般来说，对AI模型的“黑箱”训练方法是一个危险信号。

同样重要的是要意识到，您的组织内部可能已经在使用许多AI解决方案。然而，要准确指出哪些AI驱动的解决方案已经存在于您的业务中可能是一个挑战，因为许多第三方应用程序在推出AI功能时并没有充分告知其客户。

Fielder说：“AI正在悄悄进入商业应用程序。供应商正在推出它，但并不是所有供应商都会给你选择不使用它的选项。或者，也许你可以选择退出，但你必须经历一个复杂的过程才能不参与AI功能。例如，我们的一个终端仿真器正在使用大型语言模型（LLM）来提供更好的提示，你可能会认为终端仿真器是你使用的风险最低的东西，但突然间，它里面就有了AI。”

因此，企业必须应对的持续挑战将是盘点所有这些第三方应用程序，并了解它们如何以及在哪里使用AI。同样，从您组织中最关键的业务领域开始，并从此处入手，将会有所帮助。