LLM Prompt 安全

admin 2024年1月6日15:08:03评论73 views字数 4094阅读13分38秒阅读模式
LLM Prompt
安全
PART.1
背景
近期,大语言模型(LLM)正在各个应用领域引起巨大的变革,已经在搜索引擎、金融服务、企业办公、网络安全、教育培训、娱乐游戏、电子商务和社交平台等领域迅速普及和应用。然而,大语言模型的广泛应用和普及也带来了一系列安全挑战。目前,大语言模型面临的风险类型包括prompt注入攻击、训练数据投毒、不安全的输出处理、模型窃取、隐私滥用等等。这些风险可能导致生成恶意内容、泄露隐私数据、任意代码执行等危害。在这些安全威胁中,prompt注入攻击被OWASP列为大语言模型应用漏洞TOP 10之首。尽管LLM工程师为了最大限度地减少风险,通过来自人类反馈的强化学习(RLHF)等微调措施将语言模型与人类偏好“align”,以避免产生有害或冒犯性的回应,但是LLM仍然容易受到对抗性输入的影响。

本篇文章将对prompt注入风险,预防和消减策略两个方面展开描述。

LLM Prompt 安全
PART.2
原理
那么,prompt是什么呢?可以简单理解为给LLM发出的指令。它可以是一个问题、一段文字描述,甚至可以是带有参数的文字描述。LLM会基于prompt所提供的信息,生成对应的文本或图片。

为了使LLM对用户更加友好并确保回答准确且不脱离上下文环境,开发者预先设定了一组初始prompt,用以启动和确定模型的回答方向。这些初始prompt,也被称为system prompt或pre-prompt,通常对用户隐藏,先于用户自己的输入,将对话引向正确或错误的方向,提供更好的上下文基础。

然而,如果恶意用户尝试操纵预期的prompt行为会发生什么呢?这就是prompt注入发挥作用的时间点。prompt作为用户对大模型的输入,可以成为恶意用户的切入点。恶意用户可以绕过内容过滤器或使用精心设计的prompt payload操纵模型,使其偏离指定的角色,从而导致危险的后果,如非法内容生成、敏感信息泄露、执行恶意代码等。

prompt注入攻击比较普遍认可的分类方法有两种。

第一种是OWASP发布的LLM Vulnerability TOP 10中按照prompt注入点的来源分为:直接注入和间接注入。前者通过“越狱”到初始prompt直接实现,后者通过操纵外部的恶意输入来间接实现。

另外一种分类方式来源于近期发表的学术研究论文,确定了两种宏观类型的prompt注入攻击,包括竞争目标攻击和不匹配泛化攻击。

竞争目标攻击是指利用给定语言模型的不同目标之间的冲突。模型经过培训,既要遵守安全措施,又要遵循用户提供的说明。这种斗争可能会被滥用,从而导致模型出现不良行为。前缀注入攻击、角色扮演攻击、指令劫持等攻击类型都属于竞争目标攻击。

不匹配泛化攻击利用了预训练中使用的大数据集与用于微调的较小范围数据集之间的差异。在这些攻击中,利用者制作prompt,这些prompt与预训练期间所做的泛化一致,但不包括在安全训练中,导致不希望的输出。混淆、随机噪声攻击和对抗后缀攻击都属于不匹配泛化攻击。

PART.3
prompt 注入案例
以下列举的prompt注入攻击的案例,来源于OWASP中国《LLM安全性测评基准》,学术论文和网上社区,对于国内主流的LLM应用而言,难以有效利用。不过依然可以作为参考案例来学习对应的注入思路,设计成熟的LLM安全测评和防护方案,并且使得LLM APP实现应答尽答、应拒尽拒的回复策略。
指令劫持
指令劫持是指利用模型无法区分开发者指令与用户输入的特性,将欺骗性的指令拼接到用户输入的prompt中,可以是引导性的问题或命令,从而绕过为防止滥用模型而设置的安全措施,诱导模型输出本被禁止的信息。
例如:
LLM Prompt 安全
前缀注入
这种注入类型利用了LLM固有的文本补全性。通过使用看似无害的前缀,欺骗模型继续沿着危险的叙述路径前进,使其更有可能对后续的恶意prompt提供非法或不道德的回复。

例如:使用固定的回答前缀,引导LLM以“海盗”语气说不雅言论,这里的例子仅供参考,无实际风险。

LLM Prompt 安全
角色扮演
角色扮演允许恶意用户通过假装一个场景或身份来操纵模型,模糊了模型训练期间设定的道德和操作界限,以引诱出LLM受限的回复。恶意用户会构建一个场景,其中模型被诱导去相信它是在与特定的角色进行对话,这种角色通常可以执行高权操作。

比较经典的案例有老奶奶讲述Win系统序列号的睡前故事,进入开发者模式,以及DAN(Do Anything Now)越狱,LLM被诱骗成虚构的角色DAN来执行未授权的危险行为。这里以DAN来举例。

LLM Prompt 安全
反向诱导
反向诱导允许恶意用户构造prompt请求模型列举并避开违法行为或不当言论,实际上是在操纵模型输出应避免回答的违法或不道德的回复。

例如:

LLM Prompt 安全
混淆/Token走私
混淆是一种试图逃避LLM内容过滤器的简单技术,可以将某些会触发过滤器的单词替换为它们自身的同义词,或者用Base64编码,typo(打印错误)等方式来修改它们。

例如:base64编码短语“Swear like a pirate”。得到的回应是“Aye aye, Captain!”。

LLM Prompt 安全
间接注入
恶意用户不直接向模型输入恶意的prompt,而是影响模型的训练数据或其他输入源,从而间接地改变模型的行为或输出。

假设有一个LLM,它定期从互联网上抓取文章和博客帖子来更新其知识库。恶意用户可能会在互联网上发布或修改内容,以包含特定的错误信息或有偏见的观点。当这些内容被LLM纳入其训练数据时,模型可能会开始生成包含这些错误信息或偏见的回应。

代码注入
代码注入是指恶意用户能够让 LLM 运行任意代码(通常是Python)。这种情况可能发生在工具增强的LLM中,其中LLM能够将代码发送到解释器,但当LLM本身用于分析代码时,也可能发生这种情况。

例如:

LLM Prompt 安全
还有一种比较高级的方式是利用markdown语句,直接诱导LLM发送请求。例如下图展示的GPT-4效果:首先直接输入指令,发送请求,GPT-4无法直接回复。
LLM Prompt 安全
但是可以以markdown方式重新构造输入的prompt,浏览器开发者模式下观察到成功重复发送多次请求:
LLM Prompt 安全
LLM Prompt 安全
对抗后缀攻击
恶意用户会在模型已经生成某些输出之后,添加一段无意义的文本(即“后缀”),以此来操纵或改变模型原有输出的含义或目的。

例如:

LLM Prompt 安全
prompt 拆分
将对抗性prompt输入拆分为多个部分,然后让 LLM 组合并执行它们。

例如:

LLM Prompt 安全
随机噪声攻击
恶意用户向模型的输入中添加似乎无害但实际上经过精心设计的噪声,这些噪声被设计为干扰模型的正常处理流程,导致模型产生错误的输出或行为。

这种噪声通常是随机的或看似随机的,但实际上是经过计算的,目的是以一种对模型来说难以识别的方式扰乱其处理逻辑。随机噪声攻击的核心在于,它不依赖于模型内部的特定漏洞,而是利用了模型在处理混乱输入时的脆弱性。

例如:

LLM Prompt 安全
PART.4
prompt 风险的预防和消减策略
由于LLM的特性,即不将模型系统初始指令和用户输入的prompt相互隔离,导致了prompt注入漏洞的可能性。由于LLM使用自然语言,它将两种形式的输入都视为用户提供的。因此,在LLM内部没有绝对可靠的预防方法,但以下措施可以预防和消减prompt注入的影响:

1. 输入验证与过滤:应确保对用户输入的所有prompts进行严格的验证和过滤。这包括基于规则对输入数据的格式、长度、语法和语义进行检测,基于模型的输入提示分类,尤其是对违反内容合规安全机制的prompt进行过滤,以排除注入攻击的可能性。

2. 输出监控:对模型的输出进行实时监控,可以帮助检测潜在的安全问题。如果模型的输出包含敏感信息或不当内容,潜在滥用行文,应该立即触发警报并进行人工审核。

3. 模型输出限制:应该对模型的输出范围设定明确的限制,对输出内容进行基于模型的输出提示分类。例如,模型不应该输出任何形式的代码,或者不应该生成能够直接执行的命令。

4. 上下文安全分析:LLM具有维持、理解和语义分析检测上下文对话的能力,通过上下文分析和检测,模型可以识别并忽略或拒绝那些可能导致安全问题的多轮对话的输入。

5. 制定内容合规安全框架:确保LLM的应答尽答(即在合适的范围内提供尽可能多的信息)和应拒尽拒(即拒绝提供不当或违法的信息)的回复策略符合TC260安全要求:

①应拒答的拒答率不应低于95%;

②非拒答的拒答率不应高于5%。

6. 角色访问控制:对LLM APP访问后端系统进行权限控制。为LLM提供自己的API令牌,用于可扩展功能(如插件、数据访问和函数级权限)。按照最小权限原则,限制LLM仅具有执行其预期操作所需的最低访问级别。

7. 引入延迟和确认机制:在扩展功能中引入人为的延迟。对于执行特权操作(如发送或删除电子邮件),应用程序要求用户先批准该操作。这减少了prompt间接注入导致在用户不知情或未经同意的情况下执行未经授权操作的机会。

8. 数据源的监控与审计:将外部内容与用户输入的prompt分隔开。将不受信任的内容与用户prompt分离并加以标识,检查数据的来源和完整性。

PART.5
参考文献
1. OWASP中国大语言模型(LLM)安全性测评基准v1.0

2. OWASP Top 10 for Large Language Model Applications v1.1

3. TC260《生成式人工智能服务安全基本要求》(征求意见稿)

4. Jailbroken: How Does LLM Safety Training Fail? ArXiv. (Wei, A., Haghtalab, N., & Steinhardt, J. (2023))

5. Ignore Previous Prompt: Attack Techniques For Language Models. ArXiv. (Perez, F., & Ribeiro, I. (2022))

6. Universal and Transferable Adversarial Attacks on Aligned Language Models. ArXiv. (Zou, A., Wang, Z., Kolter, J. Z., & Fredrikson, M. (2023))

原文始发于微信公众号(联想全球安全实验室):LLM Prompt 安全

  • 左青龙
  • 微信扫一扫
  • weinxin
  • 右白虎
  • 微信扫一扫
  • weinxin
admin
  • 本文由 发表于 2024年1月6日15:08:03
  • 转载请保留本文链接(CN-SEC中文网:感谢原作者辛苦付出):
                   LLM Prompt 安全https://cn-sec.com/archives/2371274.html

发表评论

匿名网友 填写信息