基于大语言模型（LLMs）的应用威胁面分析

本文结合LLMs的应用架构，从基础安全风险、业务安全风险和其他风险三个维度进行威胁面分析研究，最终形成威胁面示意图，如图所示。

1.基础安全风险

（1）网络风险

LLMs应用是互联网应用的一种，它同样存在网络传输、CDN、IP、域名、中间件、服务器以及数据库等暴露面。攻击者可以通过DDoS、渗透攻击等方式，对该类LLMs应用进行攻击，导致系统瘫痪或信息泄漏。

（2）服务器风险

服务器不仅承载着LLMs应用，还受到网络管理需求、软硬件环境等因素的影响，其自身也会面临账号口令破解、远程溢出以及物理损坏等多种攻击，存在系统被入侵或数据丢失等风险。

（3）虚拟环境风险

目前，市面上的LLMs应用大多运行在虚拟环境中，这种情况下，可能遭受来自同一宿主机的其他恶意用户攻击。例如，恶意用户通过内核漏洞获取宿主机器root权限，进而获取LLMs应用对应虚拟机中的敏感数据。

（4）组件风险

LLMs应用一般包含多个子应用组件，例如Web中间件、数据库等，这些组件本身可能存在漏洞或配置不当等安全风险，容易被攻击者利用。例如，2023年3月发生一起由于Redis问题导致ChatGPT发生故障和数据泄露事件，造成部分用户可以看见其他用户的个人信息和聊天查询内容。

（5）源码泄漏风险

LLMs应用开发人员的安全意识薄弱，将包含API-KEY的代码托管到公共源码平台，可能造成源代码被泄露。例如，可通过某些关键词在新版GitHub上搜索ChatGPT的API-KEY。

2.业务安全风险

以下针对基于大语言模型的应用中常见的业务流进行梳理，以发现可能存在的安全风险。

（1）个性化功能面临的风险

基于大语言模型的应用为了提高交互友好性，通常会收集和分析用户的个人信息，例如兴趣、喜好、历史记录等，进而为每个用户提供个性化的配置和响应服务。这个过程可能涉及到用户隐私数据，如果未进行妥善保护，则会存在数据泄露、用户越权等风险。

（2）会话管理功能面临的风险

会话管理功能主要负责跟踪用户的对话历史记录，并指导当前和未来的响应。这个过程往往会存在认证绕过、越权访问、DAN欺骗等安全风险。

（3）语言理解功能面临的风险

自然语言理解是基于LLMs应用的核心功能。该功能需要使用各种NLP技术来实现，例如命名实体识别、情感分析和词性标注等。若该部分存在漏洞或配置不当，则会存在Prompt注入、模型泄漏等风险，从而影响整个系统的安全性。

（4）知识库面临的风险

知识库是LLMs类应用回答问题的核心依据。当用户问到一些特定的问题时，LLMs会从知识库中检索相关信息，并将其包含在响应中。知识库建立在各种数据来源基础之上，恶意攻击者可能会通过人机语言交互、互联网投毒等方式污染知识库，进而实现间接攻击用户的目的。

（5）第三方接口面临的风险

LLMs类应用通常会与其他系统或服务进行交互，例如通过接口将交互记录存储在第三方云存中。这些外部交互接口可能存在命令执行、身份绕过、越权及敏感信息泄漏等风险。

3.其他风险

（1）数据安全

对于非本地搭建的LLMs应用，在使用过程中或多或少会涉及敏感信息，该部分信息存在回传出境、答案中引用、触犯当地法律法规等风险。例如，某公司DS部门职员在执行任务时，出现了源代码错误，将该段源代码直接复制入ChatGPT，并寻求解决方案，从而带来了源代码被泄露的隐患。

（2）机器可信

LLMs应用更多是提供参考，不能作为决策的依据。笔者曾对市面上多个基于LLMs模型的应用进行测试，虽然每步推算都看着有理有据，但未发现一个能准确计算出正确取值的结果。

本文从LLMs应用架构出发，简要介绍了LLMs应用威胁面面临的风险。感兴趣的读者还可从LLMs应用安全生命周期角度，开展风险分析，提前做好万物智联时代下的网络安全防御规划。

来源：《网络安全和信息化》杂志

作者：中国移动智慧家庭运营中心 高亮 王晓明

中国移动通信集团浙江有限公司 蒋熠