ChatGPT带来的潜在安全风险

自ChatGPT（Chat Generative Pre-trained Transformer, 聊天生成式预训练转换器）于去年11月横空出世以来，仅仅2个月时间，OpenAI在全球范围内的活跃用户就达到了2亿，平均每天有1300万访客使用ChatGPT，堪称人工智能领域用户增长史上的一个奇迹。

随着用户与训练数据的激增，ChatGPT的应用场景也逐渐拓宽，写作业、写论文、写代码、写PPT、翻译、校对，甚至是披上网红的外皮成为虚拟伴侣。

然而随着以ChatGPT领衔的人工智能大军不断渗入社会各个角落，相应的法律问题与风险亟需予以重视。

本文围绕现行相关法律法规，针对ChatGPT使用过程中可能涉及的法律风险进行了整理与探讨。

风险1 – 编造和不准确的回答

ChatGPT和其他语言模型工具最常见的问题之一是倾向于提供错误的信息，尽管这些信息在表面上看起来是合理的。ChatGPT还容易“产生幻觉”，包括编造错误答案和不存在的法律或科学引用。

一、ChatGPT倾向于提供错误信息的原因：

1. 语言模型的局限性：目前的语言模型是基于统计学的算法进行训练的，因此它所学习到的知识仅限于给定的语料库。如果语料库中存在错误的信息，语言模型就会重复这些错误。

2. 缺乏实际经验：语言模型没有实际的经验，因此它不知道某些信息的真实性。例如，语言模型可能会把一份不准确的新闻报道作为事实来回答问题。

3. 人工干预的不足：在语言模型的训练过程中，人工干预的角色非常重要。如果没有足够的人工干预，语言模型可能会受到错误信息的干扰。

二、ChatGPT容易“产生幻觉”的原因：

1. 对上下文理解的不足：ChatGPT的表现不仅依赖于它的语言模型，也受到它对上下文的理解能力的限制。如果ChatGPT不能正确地理解上下文，它就可能将错误信息解释为真实的内容。

2. 对数据生成的自信心：ChatGPT对数据驱动模型的理解是基于大量数据，因此在没有足够的数据支持的情况下，ChatGPT可能会自信地回答错误信息。

3. 对事实的错误掌握：ChatGPT的错误信息可能是由于它没有正确地掌握事实。这可能是因为它没有足够的知识或没有足够的经验来理解事实。

风险2 – 数据隐私和保密性

法律和合规负责人应意识到，如果未禁用聊天历史记录，那么输入到ChatGPT中的任何信息都可能成为其训练数据集的一部分。如果敏感、专有或保密信息用于提示，它们则可能会被纳入到面向企业外部用户的响应中。

在日常的聊天交流中，或多或少都会涉及到一些敏感、专有或保密的信息，例如隐私数据、商业机密等。如果这些信息未被合法地加密或保护，并且未禁用聊天历史记录，那么它们有可能被ChatGPT这样的自然语言处理工具所获取，并成为其训练数据集的一部分。

风险3 – 模型和输出偏见

OpenAI是为了创造具有人类智能的机器人而成立的人工智能研究组织。ChatGPT是OpenAI研发的一种聊天机器人，可以用自然语言与用户进行交互。然而，这种聊天机器人中也存在着偏见和歧视的问题。 

这些问题的根源是机器学习算法的训练数据。ChatGPT是通过机器学习算法对大量的聊天数据进行训练而成的，而这些数据中包含了人们的偏见和歧视。比如，在某些社交媒体上，人们可能会发表一些歧视性言论，而这些言论则成为了ChatGPT的训练数据之一。 

风险4 – 知识产权和版权风险

随着ChatGPT等人工智能技术的出现和普及，需要更加重视保护知识产权的问题。 

ChatGPT的训练需要大量的数据，其中可能包含了许多受版权保护的材料，如果这些材料被用于生成ChatGPT的输出，就可能会侵犯版权或知识产权。

因此，法律和合规负责人需要密切关注适用于ChatGPT输出的版权法的变化，以及适用于人工智能技术的知识产权保护的相关法律法规。

为了确保ChatGPT的输出不侵犯版权或知识产权，用户需要仔细检查他们生成的任何输出，尤其是当它们可能包含被认为是版权或知识产权受保护的内容时。

同时，聊天机器人企业也应该加强对知识产权保护相关法律法规的了解，并在设计和使用ChatGPT等人工智能技术时遵守相应法律法规，以免出现侵权行为。

风险5 – 网络欺诈风险

恶意行为者已经开始利用ChatGPT来大规模生成虚假信息，如伪造评论等。不仅如此，使用语言模型的应用程序，包括ChatGPT，也容易受到提示注入的攻击技术的影响。

这种技术会利用恶意提示来欺骗模型执行不应执行的任务，如编写恶意软件代码或开发类似知名网站的网络钓鱼站点。我们必须加强对这种攻击的防范，以保障广大用户的安全和利益。

风险6 – 消费者保护风险

ChatGPT是一种基于人工智能技术的聊天机器人，能够为企业提供有效的客户支持和服务。

然而，很多企业在使用ChatGPT时没有向消费者透露其使用情况，这可能会引起消费者的不满和担忧。

如果企业察觉到这种情况并没有及时进行纠正，可能会导致客户对企业的信任度下降，对企业的品牌形象和口碑造成负面影响。 

此外，如果企业未能披露ChatGPT的使用情况，那么它有可能面临违反法律规定的风险。例如，根据数据隐私法规，企业必须透明地告知消费者它们如何收集、存储和使用用户的个人数据。

如果企业未能披露ChatGPT的使用情况，那么它可能会被指控违反数据隐私法规，这将给企业带来严重的法律后果。 

为了深入研究，小编找到几篇最新的人工智能相关领域报告并全部翻译成中文上传至情报学院知识星球，识别文章尾部二维码即可下载。

1、ChatGPT面临的新兴风险（中英文）2023.6

2、生成式 AI 的影响、机遇和挑战(中英文）2023.4

3、人工智能语言模型：技术、社会经济和政策考虑（中英文）2023.4

4、全球洞察：对人工智能的信任（中英文）2023

5、人工智能治理中缺失的环节（中英文）

6、生成式 AI 的经济潜力(中英文）2023.6

7、人工智能风险管理框架（中英文）2023.2

8、人工智能颠覆和平与安全（中英文）2022

9、美国人工智能战略三大支柱的实施挑战（中英文）

以上全部资料都翻译成中文并上传至情报学院知识星球，识别下方二维码即可下载。社群内有5000+专业情报资料可供下载并每日持续更新中。加入后可与众多业内人士互动交流学习，优先获得全球各类情报信息相关资料。

往期推荐

刚刚，韩国发布《国家安全战略》，涉及与周边大国关系（附下载）

【智库报告】朝鲜化学和生物武器、电磁脉冲和网络威胁的风险（135页）

【情报评估】朝鲜的军事能力

【韩国智库】2020-21 年朝鲜的外部趋势和影响

【珍贵资料】涉朝资料大集合

记得关注我们的小号！

原文始发于微信公众号（情报分析师）：ChatGPT带来的潜在安全风险