在本期洞察中，将探讨 2024 年及以后人工智能将如何发展。“OpenAI [2022 年末]发布的生成式人工智能应用程序 ChatGPT 和 DALL-E 是自万维网以来最具颠覆性的技术发展，”WithSecure 网络安全顾问 Paul Brucciani 评论道。
（值得注意的是，人工智能的发展将渗透到 Cyber Insights 2024 系列的所有其他主题中。）
人工智能将影响我们从未考虑过的领域；例如，人工智能可能会加速专利法的修改。2023年12月下旬，英国最高法院同意了美国的一项类似裁决（美国最高法院拒绝听取针对美国专利商标局裁决的质疑）：人工智能生产的产品不能向人工智能发明人申请专利。由于人工智能的所有者或开发者不能声称自己是该产品的发明者，因此这个结果显然是站不住脚的。
除了 2024 年人工智能的所有其他预测之外，我们可能会看到立法者讨论修改专利法以解决这个问题。
2024 年及以后的人工智能
在考虑 2024 年人工智能的对抗性使用可能带来的潜在网络安全威胁之前，我们需要考虑人工智能的狂热到底是真实的还是炒作的。FIDO 联盟执行董事 Andrew Shikiar 评论道：“人工智能对网络安全构成的威胁是真实存在的，但高度复杂的新人工智能攻击和数据泄露将造成多大份额，这肯定存在‘炒作’因素。”
网络钓鱼
网络钓鱼是安全专业人士和媒体讨论最多的网络威胁。毫无疑问，gen-AI 可以提供增强攻击的手段：完美的语言、多语言和超大规模的攻击。
然而，这是否已经发生，或者是否会在 2024 年发生，还有更多疑问。Shikiar 认为这已经开始，超过一半的人认为攻击数量有所增加，攻击的复杂性有所提高。
Token 主席 Kevin Surace 认为，“2024 年，人工智能生成的网络钓鱼攻击将迎来猛烈冲击。” Veritas Technologies 数据保护高级副总裁兼总经理 Matt Waxman 补充道：“像 WormGPT 这样的工具让攻击者可以轻松地利用 AI 生成的网络钓鱼电子邮件来改进他们的社会工程，这些电子邮件比我们之前了解到的更有说服力。”。
但 WithSecure 前高级研究员安迪·帕特尔提出了一个问题。“创建此类内容需要即时工程方面的专业知识——了解哪些输入会产生最令人信服的输出。即时工程会成为一种服务吗？也许。”
如果人工智能即服务确实在 2024 年出现，无疑将导致网络钓鱼数量的增加。Wallarm 创始人兼首席执行官伊万·诺维科夫 (Ivan Novikov) 警告说：“这些人工智能模型可以为新手恶意行为者提供先进的功能……这曾经是技术更熟练的黑客的领域。”地下犯罪的服务方可能会继续其目前的转变过程。变成有效的罪犯。
然而，在 2024 年初，我们根本不知道 gen-AI 何时会被纳入大规模主流网络钓鱼，也不知道它的效果如何。
Deepfakes：网络钓鱼的视频和语音附件
每个人都在等待深度伪造品真正进入攻击者的军械库。它已经被预测了很多年，并且偶尔被使用，但还不是标准的攻击者实践。尽管如此，将人工智能生成的语音和视频纳入有针对性的鱼叉式网络钓鱼和 BEC 将使攻击更加可信。这可能发生在 2024 年；但目前还没有定论。
“它绝对会改进，并将用于攻击，”城堡（南卡罗来纳州军事学院）顾问兼兼职教授杰拉尔德·奥格（Gerald Auger）警告说。“CFO 的 Deepfake 视频与 Deepfake 音频功能相结合（特别是如果有足够的音频采样语料库 — 想想财富 50 强公司的 CFO 做过公开演讲）将足以生成引人入胜的内容来欺骗金融分析师将资金转移到威胁行为者控制的账户。”
Shikiar 相信 Deepfake 的开发将继续并得到改善，但到 2024 年将导致很少的数据泄露。“社会工程已经是大多数攻击的原因，现在世界任何地方的任何欺诈者都可以生成完美的网络钓鱼攻击这几乎是不可能被检测到的——而这只是创建深度伪造的努力的一小部分。” 并不是深度造假没有效果，只是没有必要。
选举年的虚假信息
由于美国和欧洲的选举以及乌克兰和加沙的战争，2024 年恶意虚假信息可能会激增。CrowdStrike首席技术官 Elia Zaitsev评论道：“俄罗斯、伊朗等民族国家对手有着试图通过网络手段和信息操作影响或颠覆全球选举的历史。这些对手利用混合行动，包括‘黑客攻击和泄密’活动、整合修改或伪造的内容以及放大特定材料或主题。” gen-AI 的到来和使用将使此类活动变得更容易、更具可扩展性。
“人工智能将被用来在 2024 年备受瞩目的选举前夕制造虚假信息并影响行动。这将包括合成的书面内容、口头内容，甚至可能是图像或视频内容，”帕特尔警告说。
但这不仅仅取决于人工智能。他继续说道：“既然社交网络已经缩减或完全取消了其审核和验证工作，虚假信息将变得非常有效，社交媒体将变得更像是人工智能和人类制造的垃圾的污水坑。”
Venafi 首席产品官 Shivajee Samdarshi 延续了同样的主题：“随着美国、英国和印度的重大选举，我们很可能会看到人工智能在 2024 年加强选举干预……信任、身份和民主的概念本身将受到人工智能的影响。显微镜。”
从更积极的角度来看，WestCap 首席信息安全官和网络实践负责人 Christian Schnedler 认为，滥用身份传播错误信息的激增可能会成为美国更好地保护身份的转折点——使用移动驾驶执照。“由于缺乏商业应用，消费者的接受度已经放缓，”他评论道。
“在美国即将经历的虚假信息运动之后，这一切可能都会改变。一旦 mDL 变得普遍，以保护隐私的方式验证数字角色的能力将变得无处不在。这包括通过向由权威（政府）数据支持的商家提供最低限度的信息来自动注册新帐户。此外，登录和结账将变得像点击支付交易一样简单。”
本土飞行员和保护训练数据
Gen-AI 目前被认为是副驾驶。人工智能旨在由人类操作员使用并在其影响下使用。下一步是开发全自动人工智能飞行员，组织将越来越多地为自己的应用程序开发自己的飞行员。
Quorum 总裁兼联合创始人乔纳森·马克斯 (Jonathan Marks) 提供了一个副驾驶示例：“随着人工智能的进步，我们将从通用文本和体验模型转向更加定制、以产品为中心的模型。公司不会创建广泛的解决方案，而是会明确设计专门的人工智能助手以集成到特定应用程序中。以政府事务为例。这些人工智能应用程序可以与用户一起分析大量的立法数据集，识别模式，并在他们自己的专用模型的参数内提供上下文建议。”
这仅仅是个开始。Cloudbees 联合创始人兼首席战略官 Sacha Labourey 继续说道：“到 2024 年，真正的‘试点’解决方案将会出现，这些解决方案不仅会提出变更，还会根据底层的整体安全性和稳定性测试工具来执行变更。产品以确保它们是正确的改变。”
这将为攻击面带来新的增加。“垃圾进来，垃圾出去”这句老话又回来了。如果内部飞行员使用的训练数据可能被对手毒害，那么输出也可能受到类似的毒害。可以将其视为非常大的缓冲区溢出攻击 - 对手可能会引导飞行员自动攻击所有者。保护内部训练数据湖将成为数据维护者的新优先事项。
从这个意义上说，从 2024 年开始，gen-AI 将为安全团队带来双重打击。外部威胁来自对手直接针对组织使用 AI，而内部威胁则来自误用和滥用内部 gen-AI 应用程序——要么由工作人员或对手。
对于内部应用程序，OWASP 于 2023 年 12 月 6 日发布了LLM AI 安全与治理清单。
OWASP 表示：“OWASP Top 10 大型语言模型应用程序项目旨在让开发人员、设计师、架构师、经理和组织了解部署和管理大型语言模型 (LLM) 时的潜在安全风险。该项目提供了 LLM 应用程序中常见的 10 个最严重漏洞的列表，强调了它们的潜在影响、利用的难易程度以及在实际应用程序中的普遍性。”
这是当前超出人工智能对抗性使用的威胁。Adversa AI 首席执行官兼联合创始人 Alex Polyakov 评论道：“我们看到威胁的范围急剧扩大，从雪佛兰聊天机器人的越狱到 OpenAI 定制 GPT 中的提示和数据泄露。” “更不用说 Google Docs 应用程序中的大量提示注入案例了。” 2024 年 1 月，所有安全人员都应该阅读 OWASP LLM 前十名书籍。
升级自动化安全防御可能会降低安全人员的技能
2024 年将人工智能集成到整个安全领域的最大原因之一是提高自动化程度。如果规则正确，人工智能将做得更多、更快，并且不会出现人为错误。这将减轻现有员工的压力，解决安全领域长期存在的问题之一：如何用更少的资源做更多的事情。
“到 2024 年，我们将看到人工智能和生成式人工智能平台的激增，并被集成到安全工具中，从而可以更快地处理大量数据，这将加快即时响应等操作的速度，”总监 James Hinton 评论道Integrity360 的 CST 服务。
“如果人工智能可以快速分类数据并提供结果，组织不一定需要熟练的分析师编写自定义查询。事实上，人工智能可以用来完成此类任务，让高技能的安全专业人员能够专注于更高价值的任务。”
释放熟练的专业人员是玻璃的一半。还有一个半空的观点：那些高技能的安全专业人员是否仍然必要？更长远的情况又如何呢？
“随着集成过程的发生，我们还将看到年轻一代无法像他们习惯的那样获得有关工作场所任务的相同实践经验，特别是在故障排除、中断和安全事件方面，因为其中大部分将通过自动化来实现人工智能”，Deep Instinct 首席信息官 Carl Froggett 警告道。
“企业领导者面临的问题是，当人工智能的参与消除了学习劳动力基本组成部分的机会时，如何继续建立和塑造人们的技能和职业？”
连锁效应可能有利于技能短缺，因为技能的必要性会降低。但雇主可能会开始招聘数量较少、技能较差、工资较低的年轻人。
就像人工智能时代来临之际的许多其他问题一样，在未来几年慢慢发生之前，我们不会知道答案。
通用人工智能
通用人工智能 (AGI) 的实现被认为还需要很多年的时间，但我们可能会在 2024 年看到越来越多的讨论。AGI 是一种机器，可以在无人告知的情况下学习、解决问题并有效地得出自己的结论——更像是人类大脑及其思维过程比当前的人工智能更先进。
谣言工厂已经准备好了。2023 年 11 月，萨姆·奥尔特曼 (Sam Altman) 被短暂解除了 OpenAI 首席执行官的职务（他只离开了几天）。官方没有给出他被免职的理由；但路透社报道了一份内部备忘录，其中讨论了一个名为 Q* 的项目及其通向 AGI 的潜力。路透社暗示这可能与解雇有一定关系——但现阶段这一切都只是谣言。
同样是在 2023 年 11 月，Google DeepMind 发表了一篇题为Levels of AGI：Operationalizing Progress on the Path to AGI 的论文。目的是定义 AGI，该论文制定了六项原则：关注能力，而不是流程；注重通用性和性能；专注于认知和元认知任务；关注潜力，而不是部署；注重生态有效性；专注于路径，而不是单一终点。
值得注意的是，这些原则衡量了开发的进度，并指定了 AGI 应该实现什么，但没有指定它不应该做什么。阿西莫夫第一定律没有立足之地。关于AGI将会有很多讨论；这种讨论可能会在 2024 年开始出现。
但值得注意的是Plus首席执行官兼联合创始人、麦当娜风险投资集团合伙人李丹尼尔的观点：“人们经常高估一年内可能发生的事情，而低估5年或10年后可能发生的事情。随着人工智能的快速发展，无论我们是否拥有通用人工智能，世界在 10 年后都会变得完全不同。”
波利亚科夫认为 AGI 可能会在 2028 年甚至更早之前出现。“即使在未来一两年内，通过各种模型和代码包装的组合创建的某种 AGI 原型也可能成为可能。”
彼得和人工智能狼
人工智能的网络安全威胁是真实的还是炒作的？两种可能的答案都有道理：威胁现在可能很大程度上是炒作，但随着人工智能的能力不断增强和成本下降，它将会成为现实。过于频繁地喊“狼来了”的危险在于，当真正的狼来临时，我们无法认出它，也无法做好准备。
这种炒作并不是基于当前人工智能无法构成严重威胁，而是基于犯罪分子不需要使用它。他们目前的方法效果很好。
但是，除了目前对抗性人工智能的低使用率之外，我们对未来（可能最早在 2024 年下半年）还能期待什么？“我们正在准备应对多模式攻击的升级，黑客同时操纵文本、图像和语音来制造更难以捉摸的威胁，”波利亚科夫表示。
“另一个新兴领域是自主人工智能代理的开发。这些企业领域的新生实体，特别是在客户支持、销售或营销领域，提出了成熟的目标。随着这些代理集成到业务流程中，我们预计会发生复杂的多步骤攻击，利用多个人工智能代理之间的交互。”
他继续说道：“法学硕士和类似的人工智能系统就像网络犯罪分子的瑞士军刀。他们可以生成与真实邮件无法区分的网络钓鱼电子邮件，以工业规模制造假新闻，或者自动进行黑客攻击。他们实质上是在没有任何开销的情况下使网络犯罪分子数量增加了数千人。”
说这种情况现在正在发生可能是炒作——但它即将到来，我们现在需要考虑并实施防御措施。针对对抗性人工智能的最佳防御是防御性人工智能——利用人工智能来检测人工智能的使用。这里有一个隐藏的问题：防御型AI能否领先于攻击型AI。答案取决于你的杯子是半满还是半空。
“人工智能防御永远不会领先于人工智能进攻，”奥格评论道。“历史反思表明，网络防御者与威胁行为者及其攻击技术处于一种行为/反应关系中。” 他表示，这一点不会改变。
波利亚科夫则更为乐观。“为了对抗人工智能武器化，我们需要以牙还牙。我们的防御系统不仅必须学习，而且必须实时适应，”他说。自动化的人工智能红队平台可以了解新的漏洞、构造攻击，并在任何漏洞发生之前针对人工智能防御对其进行测试。
“人工智能防御和进攻之间的竞争是永恒的，但防御有一个秘密武器，”他继续说道：“协作。通过汇集集体智慧和资源，防御性人工智能可以保持领先一步。”
政府与自律
2024年将是政府干预人工智能开发和使用的重要一年。与往常一样，监管困境将是如何在不阻碍创新和经济增长的情况下保护人员和隐私。传统上，欧盟侧重于前者，而美国则侧重于后者。Luminance 总法律顾问 Harry Borovick 警告说：“欧盟和美国在人工智能监管方面似乎正走上不同的道路。” “这将为跨多个市场运营的企业带来合规难题。”
Brucciani 补充道：“在谁拥有个人数据的问题上，美国和欧盟之间存在根本区别：收集者还是主体？在欧洲，它是一个主题；在欧洲，它是一个主题。在美国和其他地方，它是收集者……到目前为止，像 OpenAI 这样的大公司只是通过拒绝详细说明用于创建软件的数据来避免审查。”
首先受到监管的是欧盟《人工智能法案》，该法案于 2023 年 12 月 8 日达成政治协议。欧盟委员会主席乌苏拉·冯德莱恩 (Ursula von der Leyen) 表示：“通过保障人民和企业的安全和基本权利，”它将支持欧盟值得信赖的人工智能的开发、部署和采用。” 该法案重点关注其所描述的“高风险”领域，包括 CNI 内部、招募和执法部门的使用。“风险最小”区域，例如垃圾邮件过滤器，可以免费通行。“不可接受的风险”，例如操纵人类行为、社会评分和一些预测性警务，被简单地禁止。
StrikeReady 的首席产品官阿努拉格·古尔图 (Anurag Gurtu) 认为该法案可能产生一个有趣的影响。“该法案对不受某些限制的开源人工智能模型的影响，”他指出，“可能会刺激人工智能行业发生有趣的转变，可能有利于开源方法。”
帕特尔认为这将是一件好事：“开源人工智能将继续改进并得到广泛使用。这些模型预示着人工智能的民主化，将权力从少数封闭的公司转移到人类手中。”
截至撰写本文时，该法案仍需获得欧洲议会和理事会的正式批准，并且在全面生效之前将有一个阶段性的过渡期。在此期间，欧盟将启动一项人工智能协议，由来自世界各地的人工智能开发人员组成，他们将在法定期限之前自愿承诺遵守该法案的规定。
与 GDPR 一样，《人工智能法案》可能会产生全球影响，并且与 GDPR 一样，财务制裁可能会很严厉：可能高达 3500 万欧元（约 3770 万美元）或全球营业额的 7%。
到目前为止，美国对人工智能的监管方法限制较少。“白宫科技政策办公室于 2022 年 10 月 4 日发布了人工智能权利法案的蓝图，”Brucciani 解释道。“该蓝图是一套不具约束力的人工智能系统设计、开发和部署指南。”
任何政府在全美范围内实施联邦法律的困难都是可以理解的。但有趣的是，看看各个州是否开始制定更具限制性的全州人工智能法规，与欧盟法案松散一致，就像许多州根据 GDPR 松散地制定自己的隐私法规一样。
具有讽刺意味的是，与所有网络安全法规一样，虽然它们给用户组织带来了额外的负担并给开发人员带来了限制，但这些法规对坏人没有任何影响。
尽管如此，Alteryx 首席产品官 Suresh Vittal 认为，《人工智能法案》等法规将促进组织内更多地使用人工智能。他指出，用户最大的担忧是隐私和对结果缺乏信任，这两个问题都在《人工智能法案》中得到了解决。他相信，“到 2024 年，我们将看到企业改进其治理框架，从生成式人工智能的有意义应用中释放广泛的效益和生产力提升。”
在制定法规的同时，我们将继续看到政府关于如何使用人工智能的建议。2023年11月下旬，《人工智能安全全球指南》发布。这些主要由英国的 NCSC 和美国的 CISA 开发，但得到了 18 个国家的政府机构的认可。
2023 年 12 月 11 日，NIST 发布了 SP 800-226 草案《差异隐私保证评估指南》，被描述为“评估人工智能时代隐私保护技术的指南”。
“到 2024 年，我们将在政府和企业共同努力推动人工智能监管和负责任的采用方面取得重大进展。我们已经与欧盟看到了这一点——他们刚刚宣布了一项关于世界上第一个全面的人工智能立法的临时协议，该立法的重点是监管人工智能的高风险应用，同时提高所有人工智能模型的透明度、可解释性和安全性。” IBM 副总裁、首席隐私和信任官兼 AI 道德委员会主席。
“我相信我们也会在美国看到合作。我们 [IBM] 主张政策制定者和政府通过基于风险的人工智能精准监管来加强信任，优先考虑问责制并支持开放式创新，而不是许可制度。与此同时，”她补充道，“公司必须积极主动，确保他们构建和使用的人工智能是可解释的、透明的和公平的。这需要多方利益相关者的参与才能取得成功，这就是 IBM 共同创立 AI 联盟的原因，该联盟是一个由技术创造者、开发者和采用者组成的多元化团体，正在齐心协力推进植根于开放创新的安全、负责任的 AI。”
2024 年人工智能威胁
我们不理解的科学通常被称为魔法。这就是人工智能的现状，就像所有的魔法一样，既有支持者，也有怀疑者。我们不明白它能做什么、不能做什么，我们对它给网络安全带来的威胁感到敬畏。
但这不是魔法。
是的，它将实现更多、更快、更好伪装的攻击。但目标没有改变。目标仍将是凭据、个人信息、数据和勒索。多年来，捍卫者们一直在保护这些。在人工智能时代，我们有必要提高防御能力，但如果我们继续保护我们的资产，我们仍然可以阻挡这种新魔法。
我们必须加倍加强零信任防御和网络异常检测，并更加了解供应链威胁。我们必须提高企业安全意识、反网络钓鱼员工培训和基本安全卫生。我们必须关闭一直敞开的 API 大门。简而言之，我们必须提高现有工作的效率。当然，我们可以将我们自己的人工智能添加到防御组合中。
人工智能将使攻击者提高攻击能力，防御者提高防御能力。随着时间的推移，情况不会有太大变化，但战斗将会更加激烈。
与此同时，正如 ImmuniWeb 首席架构师 Ilia Kolochenko 评论的那样，“尽管今年早些时候发布的许多耸人听闻的报告都预测，由于生成式人工智能的新颖功能，网络犯罪即将激增，但我们不太可能在明年甚至今年看到结构性变化。2025 年。现代网络犯罪是一个成熟、高利润且组织良好的行业。因此，人工智能的颠覆对其影响不大。” 攻击者根本不需要人工智能就能继续取得成功。
简而言之，2023 年是人工智能炒作的一年，2024 年将是人工智能现实的开始，而 2025 年很可能会迎来它的交付。
原文出处：https://www.securityweek.com/cyber-insights-2024-artificial-intelligence/
原文始发于微信公众号（祺印说信安）：2024 年网络安全洞察：人工智能
- 左青龙
- 微信扫一扫
-
- 右白虎
- 微信扫一扫
-
评论