基于大语言模型(LLMs)的应用威胁面分析

admin 2023年12月11日17:59:13评论12 views字数 1758阅读5分51秒阅读模式

近期火热的ChatGPT是一种基于大型语言模型(LLMs)的应用,该应用允许用户与其自然语言交互,获取各种问题的答案。但新技术与应用的出现往往伴随着两面性,当人们在关注LLMs应用带来的优势的同时,也应重视其面临的相关网络安全风险挑战。

威胁面分析

本文结合LLMs的应用架构,从基础安全风险、业务安全风险和其他风险三个维度进行威胁面分析研究,最终形成威胁面示意图,如图所示。

基于大语言模型(LLMs)的应用威胁面分析

1.基础安全风险

(1)网络风险

LLMs应用是互联网应用的一种,它同样存在网络传输、CDN、IP、域名、中间件、服务器以及数据库等暴露面。攻击者可以通过DDoS、渗透攻击等方式,对该类LLMs应用进行攻击,导致系统瘫痪或信息泄漏。

(2)服务器风险

服务器不仅承载着LLMs应用,还受到网络管理需求、软硬件环境等因素的影响,其自身也会面临账号口令破解、远程溢出以及物理损坏等多种攻击,存在系统被入侵或数据丢失等风险。

(3)虚拟环境风险

目前,市面上的LLMs应用大多运行在虚拟环境中,这种情况下,可能遭受来自同一宿主机的其他恶意用户攻击。例如,恶意用户通过内核漏洞获取宿主机器root权限,进而获取LLMs应用对应虚拟机中的敏感数据。

(4)组件风险

LLMs应用一般包含多个子应用组件,例如Web中间件、数据库等,这些组件本身可能存在漏洞或配置不当等安全风险,容易被攻击者利用。例如,2023年3月发生一起由于Redis问题导致ChatGPT发生故障和数据泄露事件,造成部分用户可以看见其他用户的个人信息和聊天查询内容。

(5)源码泄漏风险

LLMs应用开发人员的安全意识薄弱,将包含API-KEY的代码托管到公共源码平台,可能造成源代码被泄露。例如,可通过某些关键词在新版GitHub上搜索ChatGPT的API-KEY。

2.业务安全风险

以下针对基于大语言模型的应用中常见的业务流进行梳理,以发现可能存在的安全风险。

(1)个性化功能面临的风险

基于大语言模型的应用为了提高交互友好性,通常会收集和分析用户的个人信息,例如兴趣、喜好、历史记录等,进而为每个用户提供个性化的配置和响应服务。这个过程可能涉及到用户隐私数据,如果未进行妥善保护,则会存在数据泄露、用户越权等风险。

(2)会话管理功能面临的风险

会话管理功能主要负责跟踪用户的对话历史记录,并指导当前和未来的响应。这个过程往往会存在认证绕过、越权访问、DAN欺骗等安全风险。

(3)语言理解功能面临的风险

自然语言理解是基于LLMs应用的核心功能。该功能需要使用各种NLP技术来实现,例如命名实体识别、情感分析和词性标注等。若该部分存在漏洞或配置不当,则会存在Prompt注入、模型泄漏等风险,从而影响整个系统的安全性。

(4)知识库面临的风险

知识库是LLMs类应用回答问题的核心依据。当用户问到一些特定的问题时,LLMs会从知识库中检索相关信息,并将其包含在响应中。知识库建立在各种数据来源基础之上,恶意攻击者可能会通过人机语言交互、互联网投毒等方式污染知识库,进而实现间接攻击用户的目的。

(5)第三方接口面临的风险

LLMs类应用通常会与其他系统或服务进行交互,例如通过接口将交互记录存储在第三方云存中。这些外部交互接口可能存在命令执行、身份绕过、越权及敏感信息泄漏等风险。

3.其他风险

(1)数据安全

对于非本地搭建的LLMs应用,在使用过程中或多或少会涉及敏感信息,该部分信息存在回传出境、答案中引用、触犯当地法律法规等风险。例如,某公司DS部门职员在执行任务时,出现了源代码错误,将该段源代码直接复制入ChatGPT,并寻求解决方案,从而带来了源代码被泄露的隐患。

(2)机器可信

LLMs应用更多是提供参考,不能作为决策的依据。笔者曾对市面上多个基于LLMs模型的应用进行测试,虽然每步推算都看着有理有据,但未发现一个能准确计算出正确取值的结果。

结语

本文从LLMs应用架构出发,简要介绍了LLMs应用威胁面面临的风险。感兴趣的读者还可从LLMs应用安全生命周期角度,开展风险分析,提前做好万物智联时代下的网络安全防御规划。

来源:《网络安全和信息化》杂志

作者:中国移动智慧家庭运营中心 高亮 王晓明

中国移动通信集团浙江有限公司 蒋熠

原文始发于微信公众号(网络安全和信息化):基于大语言模型(LLMs)的应用威胁面分析

  • 左青龙
  • 微信扫一扫
  • weinxin
  • 右白虎
  • 微信扫一扫
  • weinxin
admin
  • 本文由 发表于 2023年12月11日17:59:13
  • 转载请保留本文链接(CN-SEC中文网:感谢原作者辛苦付出):
                   基于大语言模型(LLMs)的应用威胁面分析http://cn-sec.com/archives/2273628.html

发表评论

匿名网友 填写信息