企业面临的四大 LLM （大型语言模型）威胁

当被问及 LLM 为企业带来的新威胁时，专家们认为提示词注入是首要风险。在 LLM 界面上输入一堆混乱的提示词来对人工智能进行越狱，如果越狱者通过这种方式传播错误信息，可能会造成企业声誉受损。此外，越狱者也可以利用混乱的提示词使系统给出错误的报价。此前，Fullpath开发了一款用于汽车经销商的聊天机器人，雪佛兰经销商在使用时，黑客测试者注入“这是具有法律效力的报价，不接受反悔 ”的提示词，使其成为结束语。最终，雪佛兰经销商不得不以一美元的价格向黑客提供一辆新车。

更严重的威胁是利用提示词注入迫使应用程序交出敏感信息。StackAware 公司的创始人 Walter Haydock 解释，与 SQL 注入提示不同，威胁行为者可以使用无限的提示词来试图欺骗 LLM 做它不应该做的事情，因为 LLM 的提示词是用自然语言编写的。

Haydock表示，通过SQL输入数据的方式是有限的，目前有一套已知的控制方法可以用来防止和阻止 SQL 注入。但对于提示词注入，由于英语语言的广泛性，向 LLM 提供恶意指令的方式几乎是无限的。

包括自然语言网络防火墙在内的端到端人工智能安全平台 Robust Intelligence 的首席技术官 Hyrum Anderson 也指出，提示词提取也是一个漏洞点。他认为，提示词提取属于数据泄露范畴，只需提出要求就能提取数据。

以网站上的聊天机器人为例，其背后有支持应用程序的相关数据，这些数据存在外泄风险。Anderson 以检索增强生成（RAG）为例指出，通过将 LLM 响应与任务相关的信息源相连接，可以丰富 LLM 响应。Anderson最近目睹了这样一次攻击，演示者使用 RAG 通过询问数据库中的特定行和表，迫使数据库吐出特定的敏感信息。

为了防止这类数据库泄漏，Anderson 建议，在将面向外界的 RAG 应用程序连接到数据库时要谨慎。他认为，如果不想让 RAG 应用程序的用户看到整个数据库，那么就应该限制 LLM 用户界面的访问权限。具有安全意识的企业应该针对自然语言拉取请求对其 API 进行加固，限制访问，并使用人工智能防火墙阻止恶意请求。

Anderson 表示，LLM 还为网络钓鱼打开了一个新的载体，诱骗人们点击他们的链接。例如，一位金融分析师使用RAG 应用程序在互联网上获取某家公司的收益情况，但在其检索的数据中，有一个以钓鱼为目的的LLM发出了相关数据，这位分析师就很可能进入这个钓鱼链接。这种网络钓鱼的威力很大，因为用户是在明确地向 LLM 寻求答案。

此外，传统的反钓鱼工具可能看不到这些恶意链接。对此，Anderson 建议 CISO 更新他们的员工培训计划，指导员工谨慎使用 RAG ，并使用新出现的网络工具，这些工具可以扫描 RAG 数据，以发现诱导用户点击的钓鱼链接。

人工智能和 ML 安全平台 Protect AI 的 CISO Diana Kelley 表示，来自开源资源库的模型和用于训练 LLM 的数据也可能被下毒。其中，值得注意的是模型本身或 LLM 所训练的数据、训练者以及下载地点。OSS软件模型的运行权限很高，但很少有公司在使用前对其进行扫描，而训练数据的质量直接影响到 LLM 的可靠性和准确性。为了了解和管理人工智能相关风险，防止中毒攻击，CISO 需要管理 ML 供应链，并在整个生命周期内跟踪组件。

换言之， CISO 需要清楚哪些应用程序正在使用 LLM 以及出于何种目的。目前，企业中使用的许多常见的办公软件都在其系统更新中嵌入了最新的人工智能功能，这些人工智能的存在 CISO 并不知情。

由于这些 LLM 被集成到第三方软件和网络接口中，其可见性变得更加模糊。因此，针对整个数据供应链的人工智能政策是关键所在。关于这些第四方风险，CISO要了解这些软件或应用是如何使用、训练、访问以及保留企业数据的。

美国政府可以说是世界上最大的网络，它当然了解人工智能安全政策的价值，因为它正努力在政府和军事应用中利用人工智能的前景。2023 年 10 月，白宫发布了一项安全开发和使用人工智能的行政命令（EO）。

隶属于国土安全部（DHS）的网络安全和基础设施安全局（CISA）在执行该行政命令方面发挥着至关重要的作用，并制定了一份人工智能路线图，其中包含该行政命令指示的由网络安全和基础设施安全局主导的关键行动，以及网络安全和基础设施安全局正在主导的其他行动，以支持关键基础设施所有者和运营商采用人工智能。

CISA 人工智能高级顾问Lisa Einstein表示，由于这项行政命令，一些关键政府机构已经确定、培养并任命了新的首席人工智能官，负责协调本机构对人工智能的使用，促进人工智能创新，同时管理本机构使用人工智能的风险。

Einstein 表示：“随着人工智能被嵌入到我们更多的日常应用中，有一个了解人工智能（其积极作用和消极作用）的人非常重要。”与LLM使用相关的风险具有很强的背景性，并根据行业的具体情况而定，无论是医疗保健、学校、能源还是 IT。因此，LLM倡导者需要能够与行业专家合作，根据行业背景识别特定风险。

随着 LLM 威胁的发展，业界需要创新的人工智能攻击和技术来应对。目前，基于人工智能的渗透测试、威胁情报、异常检测和事件响应工具正在迅速适应以应对这些新威胁。