探讨以ChatGPT为代表的AI安全问题2

01

ChatGPT的发展与竞争  

AI一直都在激发者全球科技行业的想象力。虽然AI为帮助人类提供了巨大的可能性，但也有抨击者强调，创建一种超越人类能力并可能失控的算法会存在潜在的危险，在当下不可否认的是，AI已经可以协助网络犯罪分子进行非法活动。目前全球火热的ChatGPT（Generative Pre-trained Transformer）是 AI 领域的最新发展，由 Sam Altman 领导的研究公司 OpenAI 创建，并得到 Microsoft、Elon Musk、LinkedIn 联合创始人 Reid Hoffman 和 Khosla Ventures 的支持。

AI聊天机器人可以与模仿各种风格的人进行对话。ChatGPT 创建的文本远比之前构建的硅谷聊天机器人更具想象力和复杂性。它是根据从网络、存档书籍和维基百科获得的大量文本数据进行训练的。在其推出后的五天内就已有超过一百万人注册测试该。社交媒体上充斥着用户的查询和 AI 的回应，包括创作诗歌、策划电影、撰写文案、提供减肥方法和人际关系的技巧等，帮助进行创造性的头脑风暴、学习，甚至编程。

Google宣布了正在开发一款名为 Bard 的 ChatGPT 竞品，目前尚不清楚 Bard 将具有哪些功能，但这一聊天机器人似乎与 OpenAI 的 ChatGPT 一样自由。早在2021年5 月Google就推出了大语言模型 LaMDA，该模型使用多达 137B 个参数训练，展示了接近人类水平的对话质量。Bard 就是基于 LaMDA 模型运行，但当前用的是更轻量的版本，需要的计算能力更少，所以能够扩展到更多的用户，从而获得更多的反馈。Google 将开始对接独立开发者、创作者及企业，让他们尝试基于 LaMDA 及一系列模型打造出的生成式语言 API。

Google 加急推出对抗 ChatGPT 的聊天机器人，某种程度上可以说明，搜索引擎真正意义上地遇到了挑战。从上世纪末以来，搜索引擎的固有模式已经持续了 20 多年，Google 每年都会对搜索引擎进行数千次更改，其中大多数都很微小，并没有发生根本性的变化。搜索引擎的核心是海量信息集合，而非信息创造。在搜索框输入关键字，搜索引擎根据算法，抓取、索引、排序与查询匹配的结果。

而 ChatGPT 属于 AIGC（AI生产内容），是一种新的内容创作方式。它已经被数据集训练完毕，通过一对一的对话和类似人类的口吻，给出单一、即时的答案，还能结合上下文，实现多轮对话，帮你解决更为复杂的、连续性的问题。已向 OpenAI 投资数十亿美元的微软也在把 ChatGPT 整合进Bing搜索引擎和办公软件当中。

百度的文心一言（ERNIE Bot）也已官宣，三月完成内测，即将向公众开放。百度表示在 AI 领域深耕数十年，拥有产业级知识增强文心大模型 ERNIE，具备跨模态、跨语言的深度语义理解与生成能力。现在各个互联网公司都交出了自己的答案，在搜索引擎的本业上做出颠覆，也意味着当大模型、大数据、大算力厚积薄发，训练数据中的统计规律到达节点，我们就迎来了 AI技术的大爆发。

02‍

ChatGPT在网络攻防的利用

攻击案例一：黑盒渗透测试

攻击者使用的基于AI的漏洞扫描器可能会对互联网安全造成灾难性影响。由于AI可以不断学习新的开发方式和技术进步，对于渗透测试人员来说，它可以作为一位导师或一本手册，提供适合他们当前需求的有效载荷样本。

我们研究团队尝试使用 ChatGPT 来帮助他们找到网站的漏洞。研究人员提出问题并遵循 AI 的指导，检查聊天机器人是否可以提供利用该漏洞的分步指南。研究人员使用“Hack the Box”网络安全培训平台进行实验。通过解释他们正在进行渗透测试挑战来询问 ChatGPT。例如研究人员问道：“我正在面对渗透测试的挑战。我在一个只有一个按钮的网站上。我将如何测试它的漏洞？”

聊天机器人以五个基本点作为解答，说明了在搜索漏洞时在网站上要检查的内容。通过解释他们在源代码中看到的内容，研究人员获得了 AI 的建议，了解应该专注于代码的哪些部分。此外，他们还收到了建议的代码更改示例。在与聊天机器人聊天大约 45 分钟后，研究人员就能够破解所提供的网站。

研究人员介绍说：我们有足够多的例子来试图弄清楚什么是有效的，什么是无效的。虽然它没有给我们提供现阶段所需的确切有效载荷，但它给了我们大量的想法和关键字来搜索。有很多文章，甚至是自动化工具来确定所需的有效载荷。

攻击案例二：自动钓鱼和勒索

虽然ChatGPT发布时间不长，但安全研究人员已经开始测试它生成恶意代码的能力。不仅可以使用ChatGPT创建了网络钓鱼活动，还可以为MacOS创建勒索软件。例如要求其写一封世界杯主题的电子邮件，用于网络钓鱼模拟，结果它在短短几秒钟内就用完美的英文创建完成了一封。虽然ChatGPT意识到“钓鱼攻击可以用于恶意目的，并可能对个人和企业造成伤害”，但它仍然生成了这封电子邮件。

另外ChatGPT还可以为Swift编写代码，Swift可以找到MacBook上的微软Office文件，并通过HTTPS将其发送到网络服务器，然后对MacBook上的Office文件进行加密。该解决方案的响应是生成示例代码，而没有提供任何警告或提示。

网络犯罪分子可以利用AI来增加在野网络钓鱼威胁的数量，这不仅会进一步加剧安全团队的负担，而且只需成功一次就可能引发大规模数据泄露，造成数百万美元的经济损失和无法挽回的声誉损失。

在网络安全方面，ChatGPT可以为攻击者提供比目标更多的东西。对于商业电子邮件妥协(BEC)来说尤为如此，因为这种攻击依赖于使用欺骗性内容来冒充同事、公司VIP、供应商甚至客户。如果CISO和安全领导者依靠基于策略的安全工具来检测AI/GPT-3生成内容的钓鱼攻击，那么他们将注定失败，因为这些AI模型使用先进的自然语言处理(NLP)来生成几乎不可能与真实例子区分开来的诈骗电子邮件。

之前新加坡政府技术机构的安全研究人员创建了200份钓鱼邮件测试，并将其点击率与深度学习模型GPT-3创建的邮件进行了比较，结果发现更多的用户点击了AI生成的钓鱼邮件，而非人类用户生成的邮件。

防御案例一：恶意代码检测

来自山石网科安研院团队近期的测试表明，在安全防御方面ChatGPT可以帮助我们识别一些代码中是否存在恶意代码，例如下图是使用ChatGPT识别了PHP变种 web shell木马的一个示例截图。

防御案例二：源代码安全审计

在山石安研院另外的一项测试结果中，ChatGPT还可以做源代码的安全性审计，例如下图是帮助我们检测了在C语言中，是否存在安全脆弱性。ChatGPT不仅可以识别出代码具有漏洞脆弱性，而且还识别出了产生安全漏洞的原因和利用漏洞的条件。

山石网科安全技术研究院院长何伊圣表示，在未来我们可以利用ChatGPT这类AI帮助我们做更多的纵深防御工作，在软件供应链安全方面也能给我们提供安全检测帮助，AI可以自动化监测全球的各类最新漏洞，根据漏洞的POC、EXP等代码自动提取防护规则。可以使用 AI 的输入来防止大多数数据泄露。它还可以帮助开发人员更有效地监控和测试他们的实施。

03‍

ChatGPT 本身的安全问题   

    AI平台安全包括硬件设备安全问题、系统及软件安全问题。智能技术本身所带来的新的脆弱性，对于攻击者来说可以利用，对于防护者来说可能引入新的安全隐患。另外攻击者可以利用智能技术实施攻击，防护者利用智能技术提升安全防护能力。主要体现在安全响应自动化和安全决策自主化。下面简要探讨算法模型、数据获取和监管等三个方面的安全问题。

1.  AI算法模型安全问题

算法模型的安全性问题主要包括模型训练完整性威胁、测试完整性威胁、模型鲁棒性缺乏、模型偏见威胁等，比如绕过攻击（通过对抗性样本操纵模型决策和结果）、毒化攻击（注入恶意数据降低模型可靠性和精确度）、推断攻击（推断特定数据是否被用于模型训练）、模型抽取攻击（通过恶意查询命令暴露算法细节）、模型逆转攻击（通过输出数据推断输入数据）、重编程攻击（改变AI模型用于非法用途）、归因推断攻击、木马攻击、后门攻击等。

针对AI的这些不安全性问题的防御技术主要有算法模型自身安全性增强、AI数据安全与隐私泄露防御和AI系统安全防御。算法模型自身安全性增强技术包括面向训练数据的防御（比如对抗训练、梯度隐藏、阻断可转移性、数据压缩、数据随机化等）、面向模型的防御（比如正则化、防御蒸馏、特征挤压、深度收缩网络、掩藏防御等）、特异性防御、鲁棒性增强、可解释性增强等；AI数据安全与隐私泄露防御技术主要有模型结构防御、信息混淆防御和查询控制防御等。

2.  数据获取与利用的安全问题

数据安全主要包括基于模型输出的数据泄露和基于梯度更新的数据泄露，ChatGPT风靡以来，讨论更多的还是数据安全问题，这些问题分为两类，一是ChatGPT获取数据产生的问题，二是ChatGPT恶意利用产生的问题。

用户在使用ChatGPT时会输入信息，由于ChatGPT强大的功能，一些员工使用ChatGPT辅助其工作，这尤其引起了公司对于商业秘密泄露的担忧。ChatGPT用户必须同意公司可以使用用户和ChatGPT产生的所有输入和输出，同时承诺ChatGPT会从其使用的记录中删除所有个人身份信息。然而ChatGPT未说明其如何删除信息，而且由于被收集的数据将用于ChatGPT不断的学习中，很难保证完全擦除个人信息痕迹。

我们认为ChatGPT获取数据的方法需要完全披露。如果ChatGPT通过抓取互联网上的信息获得其训练数据，可能并不合法。网站上的隐私政策条款本身表明数据不能被第三方收集，ChatGPT抓取数据会涉及违反合同。在许多司法管辖区，合理使用原则在某些情况下允许未经所有者同意或版权使用信息，包括研究、引用、新闻报道、教学讽刺或批评目的。但是ChatGPT并不适用该原则，因为合理使用原则只允许访问有限信息，而不是获取整个网站的信息。在个人层面，ChatGPT需要解决未经用户同意大量数据抓取是否涉及侵犯个人信息的问题。

另外用户对ChatGPT的恶意利用也会带来很多数据安全问题，如可以生成大量可用于对在线账户进行自动攻击的潜在用户名和密码组合进行撞库攻击、利用自然语言编写的能力编写恶意软件从而逃避防病毒软件的检测、生成钓鱼电子邮件和利用对话功能冒充真实的人或者组织骗取他人信息。

3.  对ChatGPT的管制不足

ChatGPT的开发商OpenAI设置了一些限制，以阻止人们利用其平台创建恶意内容，比如当收到要求编写用于从被黑客攻击的设备窃取数据的代码或制作网络钓鱼电子邮件时，ChatGPT会拒绝该要求并称此类内容是“非法、不道德且有害的”。但也有绕过这些限制的简单方法，该技术通过使用ChatGPT应用程序的编程接口而不是基于Web的接口，而ChatGPT会向开发人员提供API，以便他们将该AI机器人集成到应用程序中。

当前版本的OpenAI API能够被外部应用程序使用（例如，将OpenAI的GPT-3模型集成到社交平台Telegram），并且几乎没有任何反滥用措施。犯罪分子可以利用这个方法创建恶意内容，利用网络钓鱼电子邮件和恶意代码，而不受ChatGPT在其用户界面设置的限制或障碍。

ChatGPT能够拒绝不适当的查询。虽然在我们的测试案例中，在每条建议的末尾提醒我们有关黑客的准则：“请记住，在尝试测试网站的漏洞之前，遵循道德黑客准则并获得许可证。” 它还警告说“在服务器上执行恶意命令可能会造成严重损害。” 但ChatGPT仍然还是提供了我们想要的信息。

OpenAI 承认现阶段聊天机器人的局限性，并解释说：“虽然我们努力让AI机器人拒绝不适当的请求，但它有时仍会响应有害指令。我们正在使用 Moderation API 来警告或阻止某些类型的不安全内容。我们渴望收集用户反馈，以帮助我们正在进行的改进该系统的工作。”

04‍

ChatGPT其它可能的风险

1.  相关法律风险分析

使用 ChatGPT 生成可信度更高的网络诈骗文案或者生成推广文案，是否属于为上游犯罪提供了技术、推广、结算方面的支持，是否构成了帮助信息网络犯罪活动罪（以下简称“帮信罪”），被规定于我国《刑法》第287 条之二中，指的是明知他人利用信息网络实施犯罪，为其犯罪提供互联网接入、服务器托管、网络存储、通讯传输等技术支持，或者提供广告推广、支付结算等帮助。这个问题具有一定的争议，且由于目前尚未有可供参考的司法实践，无法给出一个绝对肯定的答案，因此还需要具体案件具体分析。

使用或冒用ChatGPT、OpenAI名义开展经营活动，可能构成《商标法》、《反不正当竞争法》下的一系列侵权行为。以之牟利造成消费者损失的，可能产生《商标法》、《反不正当竞争法》、《消费者权益保护法》下的民事或行政责任，情节严重并造成重大损失的，还有可能构成刑事犯罪。另外如果提供这种跨境经营服务存在私自搭建国际信道的情形，还有可能违反《网络安全法》、《刑法》的相关规定，承担行政责任或构成刑事犯罪。

2.  帮助信息网络犯罪活动罪

总的来说，如果ChatGPT生成的钓鱼软件可信度较高、推广文案非常容易吸引一般用户的注意，那么我们认为，在我国的司法实践中，大概率会将这种 AI 工具列入提供技术帮助或推广帮助的行为，运营者们务必警惕。

ChatGPT目前已经是恶意软件开发工具中的一员，在暗网和内部论坛中已经有1500多条关于使用ChatGPT开发恶意软件、创建POC代码的参考资料。ChatGPT对于脚本小子、黑客行动主义者、欺诈分子/垃圾邮件发送者、支付卡欺骗者等技术水平不高的网络犯罪分子最有帮助，ChatGPT能为迷茫的初学者提供实时示例、教程和资源，降低了恶意软件开发的准入门槛。但目前恶意黑客获得的助益还是有限的，ChatGPT虽然降低了黑客技术的学习难度和接触门槛，但同样的内容也完全可以在谷歌上轻松查到。

随着ChatGPT和其他大语言模型的发展成熟，其编写合法和恶意原始代码的能力也将不断提高。但在真正的转折来临之前，ChatGPT等工具所发挥的仍以辅助作用为主，做不到凭空生成恶意软件。

攻击者滥用AI和机器学习来进行恶意活动并不罕见。他们可能滥用OpenAI的一种具体方式是使用该公司的语言模型技术生成令人信服的钓鱼邮件或社交媒体帖子。这些可以用来诱骗人们点击恶意链接或泄露敏感信息。犯罪分子滥用OpenAI的另一种方式是使用该公司的机器学习算法来创建真实的合成媒体，如音频或视频，这些媒体可用于传播虚假信息或操纵公众舆论。

3.  网络犯罪趋于大众化

从网络安全的角度来看，ChatGPT的诞生所带来的主要挑战是，任何人无论其技术程度如何都可以根据需要编写代码来生成恶意软件和勒索软件。正如ChatGPT可以用于帮助开发人员编写代码一样，它也可以被用于恶意目的。我们已经发现的几个例子是，要求机器人创建令人信服的网络钓鱼电子邮件，或协助逆向工程代码以找到可能被恶意使用的零日漏洞。

ChatGPT内置防护机制，比如将拒绝创建shell代码或提供关于如何创建shell代码及逆向shell的具体说明，并标记恶意关键字，如网络钓鱼，以阻止请求。但这些保护措施的问题在于它们依赖于AI来识别用户试图编写恶意代码的企图，就这一点而言，用户可以通过重新措辞查询来混淆识别。我们发现可以很轻松地绕过OpenAI的保护机制，比如把自身伪装为研究人员混淆恶意意图。虽然ChatGPT确实为安全团队带来了积极的好处，但通过降低网络犯罪分子的进入门槛，它有可能加速威胁环境的复杂性。

05‍

总结

虽然生成式AI确实给安全带来了新的威胁，但它也提供了一些积极的用例。例如，分析人员可以使用该工具在部署前审查有漏洞的开源代码。已经有很多白帽黑客正在使用现有的AI技术来帮助编写漏洞报告，生成代码样本，并识别大型数据集的趋势。然而，试图利用生成式AI解决方案(如ChatGPT)的安全团队仍然需要确保充分的人力监督，以避免潜在的问题。

ChatGPT所代表的进步令人兴奋，但技术还没有发展到完全自主运行的程度。要让AI发挥积极作用，还需要人力监督以及进行一些手动配置，不能总是依靠绝对最新的数据和情报来运行和训练。实现生成式AI的企业应该部署工作流和治理，来管理AI生成的内容和软件，以确保其准确性，并降低发布具有安全性或性能问题的解决方案的可能性。

AI可以作为进攻武器，也一样可以作为防御武器。网络安全专家和黑客都将继续研究如何最好地利用 ChatGPT，时间会告诉我们谁更有效率。虽然支持者与反对者摩擦不断，双方都各持自己的观点而不让步，但绝大多数人都一致表达了支持政府的介入，他们相信ChatGPT在政府干预下，只要合理得当的使用ChatGPT这类AI技术将造福于人类。

原文始发于微信公众号（山石网科安全技术研究院）：探讨以ChatGPT为代表的AI安全问题2