人工智能与人类欺骗：揭开网络钓鱼策略的新时代

攻击者的创新速度似乎几乎与技术的发展速度一样快。技术和威胁日复一日地向前发展。现在，随着我们进入人工智能时代，机器不仅模仿人类行为，而且渗透到我们生活的几乎各个方面。然而，尽管人们对人工智能的影响越来越担心，但攻击者潜在滥用人工智能的程度在很大程度上尚不清楚。

为了更好地了解攻击者如何利用生成式人工智能，我们开展了一个研究项目，该项目揭示了一个关键问题：当前的生成式人工智能模型是否具有与人类大脑相同的欺骗能力？

想象一下人工智能在网络钓鱼大战中与人类对峙的场景。目标？确定哪个竞争者可以在针对组织的网络钓鱼模拟中获得更高的点击率。作为一个以撰写网络钓鱼电子邮件为生的人，我很高兴找到答案。

只需五个简单的提示，我们就能够欺骗生成人工智能模型，在短短五分钟内开发出高度可信的网络钓鱼电子邮件——这相当于我冲泡一杯咖啡的时间。我的团队通常需要大约 16 个小时来构建网络钓鱼电子邮件，而且这还不考虑基础设施设置。因此，攻击者可以通过使用生成式人工智能模型节省近两天的工作时间。人工智能生成的网络钓鱼非常令人信服，几乎击败了经验丰富的社会工程师制作的网络钓鱼，但事实上，即使如此，它也是一个重要的发展。

在这篇博客中，我们将详细介绍人工智能提示是如何创建的、测试是如何进行的以及这对今天和明天的社会工程攻击意味着什么。

第一轮：机器的崛起

在一个角落里，我们有人工智能生成的网络钓鱼电子邮件，其中的叙述非常狡猾和令人信服。

创建提示。通过系统的实验和完善过程，仅设计了五个提示的集合来指示 ChatGPT 生成针对特定行业领域的网络钓鱼电子邮件。

首先，我们要求 ChatGPT 详细说明这些行业员工关注的主要领域。在将行业和员工关注的问题作为首要关注点后，我们促使 ChatGPT 对电子邮件中社会工程和营销技术的使用做出战略选择。这些选择旨在优化更多员工点击电子邮件本身中的链接的可能性。接下来，一个提示询问 ChatGPT 发件人应该是谁（例如，公司内部人员、供应商、外部组织等）。最后，我们要求 ChatGPT 添加以下补全内容来创建网络钓鱼电子邮件：

1. 医疗保健行业员工最关心的领域：职业发展、工作稳定性、工作充实感等

2. 应该使用的社会工程技术：信任、权威、社会证明

3. 应使用的营销技巧：个性化、移动优化、号召性用语

4. 它应该模仿的个人或公司：内部人力资源经理

5. 电子邮件生成：根据上面列出的所有信息，ChatGPT 生成了以下经过编辑的电子邮件，该电子邮件后来由我的团队发送给 800 多名员工。

我拥有近十年的社会工程经验，制作了数百封网络钓鱼电子邮件，甚至我发现人工智能生成的网络钓鱼电子邮件相当有说服力。事实上，最初同意参与该研究项目的组织有 3 个，但有 2 个组织在查看了两封网络钓鱼电子邮件后完全退出，因为他们期望获得很高的成功率。正如提示所示，参与这项研究的组织属于医疗保健行业，该行业目前是最有针对性的行业之一。

攻击者的生产力提高。虽然我的团队通常需要大约 16 个小时来制作一封网络钓鱼电子邮件，但 AI 网络钓鱼电子邮件只需 5 分钟即可生成，并且只需要五个简单的提示。

第二轮：人性化

在另一个角落，我们有经验丰富的 X-Force Red 社会工程师。

这些社会工程师凭借创造力和心理学知识，创建了网络钓鱼电子邮件，在个人层面上与他们的目标产生了共鸣。人为因素增添了一种通常难以复制的真实感。

步骤 1：OSINT – 我们的网络钓鱼方法总是从获取开源情报 (OSINT) 的初始阶段开始。OSINT 是对可公开访问的信息的检索，随后对这些信息进行严格的分析，并作为制定社会工程活动的基础资源。我们的 OSINT 工作中值得关注的数据存储库包括 LinkedIn、该组织的官方博客、Glassdoor 等平台以及大量其他来源。

在我们的 OSINT 活动中，我们成功发现了一篇博客文章，详细介绍了最近启动的员工健康计划，该计划与几个重要项目的完成同时进行。令人鼓舞的是，该计划在 Glassdoor 上得到了员工的好评，证明了其有效性和员工满意度。此外，我们还通过 LinkedIn 确定了负责管理该计划的个人。

第 2 步：电子邮件制作 – 利用通过 OSINT 阶段收集的数据，我们启动了精心构建网络钓鱼电子邮件的过程。作为基础步骤，我们必须冒充有权柄的人来有效地解决该主题。为了增强真实性和熟悉感，我们在最近完成的项目中添加了一个合法的网站链接。

为了增加说服力，我们通过引入“人为时间限制”来战略性地整合感知紧迫性的元素。我们向收件人表示，该调查仅包含“五个简短问题”，并向他们保证，完成调查将不会超过“几分钟”的宝贵时间，并给出了“本周五”的截止日期。这种经过深思熟虑的框架旨在强调尽量减少对他们的日程安排的影响，从而强化了我们方法的非侵入性本质。

使用调查作为网络钓鱼借口通常是有风险的，因为它通常被视为危险信号或干脆被忽略。然而，考虑到我们发现的数据，我们认为潜在的好处可能超过相关的风险。

以下经过编辑的网络钓鱼电子邮件已发送给一家全球医疗保健组织的 800 多名员工：

冠军：人类获胜，但勉强获胜！

经过一轮激烈的 A/B 测试，结果很明显：人类以微弱优势取得了胜利。

虽然人工制作的网络钓鱼电子邮件的表现优于人工智能，但这是一场激烈的竞争。原因如下：

• 情商：人类理解情感的方式是人工智能只能梦想的。我们可以编织一些扣人心弦、听起来更现实的故事，让收件人更有可能点击恶意链接。例如，人类在组织内选择了一个合法的例子，而人工智能则选择了一个广泛的主题，使得人类生成的网络钓鱼更加可信。

• 个性化：除了将收件人姓名纳入电子邮件的简介之外，我们还提供了合法组织的参考信息，为其员工提供切实的优势。

• 简短而简洁的主题行：人类生成的网络钓鱼邮件的主题行简短而切题（“员工健康调查”），而人工智能生成的网络钓鱼邮件的主题行极其冗长（“解锁你的未来：有限的进步”） X 公司”），甚至在员工打开电子邮件之前就可能引起怀疑。

人工智能生成的网络钓鱼不仅输给了人类，而且被报告为可疑的比率也更高。

要点：展望未来

虽然 X-Force 尚未在当前的活动中大规模使用生成式 AI，但观察到在各种宣传网络钓鱼功能的论坛上出售 WormGPT 等工具（这些工具是为无限制或半限制的 LLM 构建的），这表明攻击者正在测试人工智能在网络钓鱼活动中的使用。虽然即使是受限制版本的生成式人工智能模型也可以通过简单的提示被诱骗进入网络钓鱼，但这些不受限制的版本可能会为攻击者在未来扩展复杂的网络钓鱼电子邮件提供更有效的方法。

人类可能以微弱优势赢得了这场比赛，但人工智能正在不断进步。随着技术的进步，我们只能期望人工智能变得更加复杂，甚至有可能有一天超越人类。众所周知，攻击者不断适应和创新。就在今年，我们看到诈骗者越来越多地使用人工智能生成的语音克隆来诱骗人们汇款、礼品卡或泄露敏感信息。

虽然人类在情绪操纵和制作有说服力的电子邮件方面可能仍然占据上风，但人工智能在网络钓鱼中的出现标志着社会工程攻击的关键时刻。以下是企业和消费者做好准备的五项关键建议：

1. 如有疑问，请致电发件人：如果您怀疑电子邮件是否合法，请拿起电话进行验证。考虑与亲密的朋友和家人选择一个安全词，以便在网络钓鱼或人工智能生成的电话诈骗中使用。

2. 放弃语法刻板印象：消除网络钓鱼电子邮件充斥着糟糕的语法和拼写错误的神话。人工智能驱动的网络钓鱼尝试越来越复杂，通常表现出语法的正确性。这就是为什么必须对我们的员工进行再教育，并强调语法错误不再是主要的危险信号。相反，我们应该训练他们对电子邮件内容的长度和复杂性保持警惕。较长的电子邮件通常是人工智能生成文本的标志，但也可能是一个警告信号。

3. 改进社会工程项目：这包括将语音钓鱼等技术引入培训项目。这种技术执行起来很简单，而且通常非常有效。X-Force 的一份报告发现，添加电话的定向网络钓鱼活动比不添加电话的钓鱼活动的效果高出 3 倍。

4. 加强身份和访问管理控制：先进的身份访问管理系统可以帮助验证谁在访问哪些数据、他们是否拥有适当的权利以及他们的身份。

5. 不断适应和创新：人工智能的快速发展意味着网络犯罪分子将不断完善他们的策略。我们必须采取同样的不断适应和创新的心态。定期更新内部 TTPS、威胁检测系统和员工培训材料对于领先恶意行为者至关重要。

人工智能在网络钓鱼攻击中的出现挑战我们重新评估我们的网络安全方法。通过接受这些建议并在面对不断变化的威胁时保持警惕，我们可以在当今动态的数字时代加强防御、保护我们的企业并确保我们的数据和人员的安全。

原文始发于微信公众号（河南等级保护测评）：人工智能与人类欺骗：揭开网络钓鱼策略的新时代