LLM强化防线：大模型敏感信息的泄露检测和风险评估

本文将从大模型敏感信息相关的安全合规需求出发，探讨大模型敏感信息的来源和分类分级。然后，借助绿盟自主研发的大模型安全评估系统LSAS (NSFOCUS LLMs Security Assessment System，简称:NSFOCUS LSAS)，对不同开源大模型进行了敏感数据泄露的扫描测试，自动发现、分析和评估大模型敏感泄露潜在风险，进而为LLM在敏感信息泄露风险评估方面提供强有力的工具和支持。

同时，我国也通过《个人信息保护法》和《数据保护法》等法律，建立了相关框架以保障敏感信息的安全。为了应对快速发展的大模型及相关技术，我国在2023年8月15日开始施行《生成式人工智能服务管理暂行办法》（以下简称 《管理办法》）[1]，旨在规范生成式人工智能服务提供者在处理敏感信息时的行为，保障用户的隐私和个人信息安全，促进生成式人工智能服务的健康发展。根据该文件，生成式人工智能服务提供者在处理敏感信息时，需要严格遵守相关法律法规，保护用户的隐私和个人信息安全。具体要求包括：

1. 用户隐私保护：生成式人工智能服务提供者需要建立健全的用户隐私保护制度，保障用户的个人信息安全，不得擅自收集、使用、传播用户的个人信息。
2.  商业秘密保护：在处理敏感信息时，服务提供者需要严格遵守商业秘密保护相关法律法规，不得泄露或非法使用他人的商业秘密信息。
3. 安全评估和监督检查：有关主管部门将对生成式人工智能服务开展监督检查，服务提供者应当依法予以配合，按要求对训练数据来源、规模、类型、标注规则、算法机制机理等予以说明，并提供必要的技术、数据等支持和协助。
4.  保密义务：参与生成式人工智能服务安全评估和监督检查的相关机构和人员对在履行职责中知悉的国家秘密、商业秘密、个人隐私和个人信息应当依法予以保密，不得泄露或者非法向他人提供。

1. 敏感信息来源标识：追溯大模型敏感信息的来源，确认在用户输入请求、模型训练数据和实际交互中是否存在泄露敏感数据的潜在可能。全面了解敏感信息的流动路径将有助于识别和解决潜在泄露风险。
2. 敏感信息分类分级：根据数据安全法规要求，利用先进的大模型技术对受评估大模型不同来源信息进行全面审查，标识并分类其中的敏感信息，包括但不限于个人隐私、商业机密等。根据敏感信息的重要性和风险程度进行分级，将便于后续对风险评估和处理的优先级排序。
3. 敏感信息泄露检测：针对大模型敏感信息的不同来源进行主动扫描测试，采用先进的检测技术以及监测系统来实时监控敏感信息的流动，检测敏感信息泄露的迹象。
4. 敏感信息风险评估：制定综合的风险评估模型，结合敏感信息的来源、分类、分级和泄露概率等因素，综合评估大模型敏感信息泄露的风险。在评估过程中，考虑风险的潜在影响和可能性，并给出相应的风险级别和建议的应对措施。

1. 训练数据：最主要的敏感信息来源是LLM在预训练阶段所使用的训练数据。由于很大一部分的训练数据是来自于对互联网公开数据的爬取，这些未经过滤的公开数据中很可能会包含敏感信息。ChatGPT的数据泄露事件就是一个例子，由于ChatGPT的语料库中包含敏感信息与机密信息，其在生成任务中会无意说出这些内容，如果未经适当处理和保护会导致数据泄露和隐私泄露的风险。
2. 用户输入：LLM使用过程中用户输入的内容是另一个敏感信息的主要来源，用户可能在与LLM交互过程中会不经意间暴露隐私或机密。而此类敏感信息会泄露给LLM背后的供应商。例如在三星员工泄露商业机密的事件中，当用户在使用ChatGPT进行代码优化或提取会议纪要时，可能会暴露公司的机密信息给供应商OpenAI，从而导致泄密的风险。
3. 模型自身：LLM的自身信息也是敏感信息的来源之一，尤其是具有一定价值的商业LLM的信息，如内置提示词、模型参数、网络架构等，也可能发生泄露并造成损失。由于涉及LLM进行推理的具体内部工作机制，这方面信息的泄露会暴露LLM的底层信息，侵犯LLM开发者的知识产权。

通过对以上敏感信息三个来源进行分析，可以更好地定位LLM敏感信息泄露的风险来源，进而采取相应的保护措施以最大程度地减少敏感信息泄露的风险。

• 高： 信息极具敏感性，泄露可能导致重大隐私泄露、财务损失或法律责任。
• 中： 信息具有一定敏感性，泄露可能导致一定程度的隐私泄露或财务风险。
• 低： 信息相对不太敏感，泄露对个体的影响较小。

• leakreplay用于检测目标LLM是否存在回放训练数据的情况。LSAS在预先收集的英文文学素材上进行挖空和截取操作，以生成完形填空和补全任务。然后LSAS会要求目标LLM完成填空和补全任务，并检测答案是否与原始素材一致。如果模型给出了与原始素材一致的正确答案，则会判断存在泄露训练数据的情况。该方法的工作原理如图2所示。

• GPT-3.5和Llama2有着比较严格的安全机制，在大部分情况下会声明其无法提供训练数据，并拒绝执行填空、补全任务。
• Qwen、Baichuan2、Moss、ChatGLMv2都会按照提示词执行填空、补全任务；其中ChatGLMv2在填空、补全任务中并未出现泄露，而其他模型都出现了按照原文进行填空的情况。
•  Moss扫描结果分数最低，可能由于其开源模型发布时间较早，未应用更新的安全机制。

• 所有模型仍然存在泄露敏感信息的情况，例如Baichuan2不具备Base64解码功能，在收到编码后错误地回复了一段疑似训练数据中有关数据包的内容。
• GPT-3.5的泄露概率最低，得益于OpenAI较为完善的安全机制。
• 发布时间较晚的模型（如Qwen）比起发布时间较早的模型（如Moss），其泄露风险相对较高，其原因可能是后来的模型使用了更广泛的数据。

在未来的工作中，我们将持续加强对敏感信息泄露的监测和防范能力，以进一步提升大模型的安全性。同时，我们将紧密关注大模型安全领域的相关动态和技术发展，为LLM的技术发展提供全面的安全保障。为了满足LLM相关法规要求和安全需求，我们将不断完善绿盟自研的大模型安全评估系统LSAS，引入更多的安全评估测试维度与内容，以确保该系统在各种场景下的适用性和有效性，本系列文章后续将对此逐步展开详细介绍。

[2] OpenAI, Usage Policies, https://openai.com/policies/usage-policies, 2023

[3] 绿盟科技, 《绿盟数据安全白皮书 2.0》, 2020

[4] 天枢实验室. M01N Team, 《LLM安全警报：六起真实案例剖析，揭露敏感信息泄露的严重后果》, 2023

[5] 绿盟科技,《安全行业大模型SecLLM技术白皮书》。2023