人工智能 | 探索大语言模型的安全和隐私挑战

近年来，人工智能蓬勃发展，以大模型、生成式AI为首的技术革新，推动着人工智能产业发展进入全新时代。

在人工智能快速崛起的同时，大语言模型（LLM）也开始得到广泛运用。以ChatGPT为代表的生成式AI工具背后就是由大语言模型提供支撑的。对于企业而言，在挖掘大语言模型潜力的同时，也需要管理可能威胁技术业务价值的隐藏风险。

01

什么是大语言模型（LLM）？

大语言模型，是基于海量文本数据训练的深度学习模型。它不仅能够生成自然语言文本，还能够深入理解文本含义，处理各种自然语言任务，如文本摘要、问答、翻译等。

在ChatGPT等聊天机器人中使用的由大语言模型驱动的生成式AI模型，像一个超强的搜索引擎，它利用模型训练数据来回答问题，并以类似人类的语言完成任务。

但是，无论是公开模型还是企业内使用的专有模型，基于大语言模型的生成式AI都存在某些安全和隐私风险。

02

大语言模型（LLM）的5个主要风险

1. 过度共享敏感数据

基于大语言模型的聊天机器人不擅长保守秘密，或者忘记秘密。这意味着用户输入的任何数据都可能被模型吸收并提供给其他人，或用于训练未来的大语言模型。

2. 版权挑战

大语言模型从网络上抓取大量数据进行训练，但这些信息往往是未经内容所有者明确许可的，且又难以找到原始来源，因此可能产生潜在版权问题。

3. 不安全代码

为了加快软件程序等上市，越来越多的开发人员开始利用ChatGPT和类似工具快速生成代码片段甚至是整个软件程序。但是，如果开发人员没有足够领域知识查找bug，一旦有缺陷的代码正式运营，可能会造成严重影响，并需要时间和金钱来修复。

4. 破解大语言模型本身

未经授权访问和篡改大语言模型可能会为威胁行为者提供一系列执行恶意活动的选项。例如，通过即时注入攻击让模型泄露敏感信息或执行其他应该被阻止的操作。其他攻击可能涉及利用大语言模型服务器中的服务器端请求伪造 （SSRF）漏洞，使攻击者能够提取内部资源。

威胁行为者甚至可以通过自然语言提示发送恶意命令，找到与机密系统和资源进行交互的方法。

5. 人工智能提供商的数据泄露

开发人工智能模型的公司本身有可能被攻破，例如，不法分子可以窃取包含敏感专有信息的训练数据，数据泄露也是如此。

03

如何缓解生成式AI的风险？

1、数据加密和匿名化

在共享数据前，对数据进行加密以确保数据不被窥探；考虑匿名化技术，以保护数据集中可能被识别的个人隐私；数据清理可在训练数据输入模型前，删除敏感细节来达到同样目的。

2、增强访问控制

强密码、多因素身份验证（MFA）和最低权限策略均有助于确保只有经过授权的个人才能访问生成式AI模型和后端系统。

3、定期安全审计

有助于发现IT系统中的漏洞，避免其影响构建大语言模型和生成式AI模型。

4、实践事件响应计划

一个经过充分演练且可靠的应急响应（IR）计划可以帮助企业快速响应，以遏制、补救和恢复任何违规行为。

5、彻底审查大语言模型提供者

确保提供者是否遵守有关数据安全和隐私的行业规范和准则是很重要的！提供者要明确披露用户数据的处理和存储位置，以及是否用于训练模型。企业要知晓数据保存多长时间？是否与第三方共享？是否可选择加入或退出用于训练的数据？

6、确保开发人员遵循严格的安全准则

如果企业的开发人员使用大语言模型生成代码，请确保相关人员遵守安全测试和同行评审等政策。

建立健全的监管体系和规范是非常重要，如此才能构建出更安全、可靠的大语言模型，从而保证未来人工智能技术的稳步发展。

---

参考资料来自：

https://www.welivesecurity.com/en/business-security/security-privacy-challenges-large-language-models/

原文始发于微信公众号（ISEC安全e站）：人工智能 | 探索大语言模型的安全和隐私挑战