人工智能（AI）&网络安全

写在前面：本文来自一家律师事务所，这样的公司国内好像还不多，从法律起步，跨越多个行业，实际上已经是咨询公司了。文章采访了多位AI专家，从宏观的角度论述了AI对网络安全的必要性，及其未来可能会面对的问题。虽然没有涉及具体的技术，但对AI和网络安全的关系，既清晰又深入，对“AI”既充满期望又有点恐惧。

AI和网络安全

Pillsbury

平衡创新、执行和风险

前言

       

       网络事件和数据泄露的频率及规模都呈指数级增长，随着公共部门和私营部门全面拥抱数字化转型，新冠疫情加速向远程工作方式转变，攻击者的手法变得更加复杂，网络安全的漏洞也在扩大，给在线攻击提供新的攻击方式。埃森哲（Accenture）在2020年的一个分析中发现，商业电子邮件入侵每年增加50%，勒索软件攻击增加160%，第三方和供应链入侵增长三倍。

       但AI在缓解这些不断增长的暴露方面，发挥了重要作用。这些新兴技术非常适合弥补当前网络防御中存在的一些重大差距，实现7*24小时的系统监控，改进威胁检测工作，随着时间独立地提高效率。他们能提供组织以前缺失的多层级数据保护措施，建立网络安全策略，缓解人为错误和保证合规。

        然而，部署AI提高网络安全工作，并不意味着没有挑战。虽然前景诱人，在网络环境中实施AI有其自身的风险。人类在理解这些高度复杂技术和他们的算法上的分歧、缺乏监管或成功的最佳实践、组织之间（包括内部）不一致的应用、黑客出于自身目的增加使用AI，所有这些都带来操纵和破坏数据的新方式。

       AI本身无法轻松搞定所有网络风险，但在有效提高现有网络安全和数据保护程序方面，它潜力无限。和人类的信息安全团队一起配合，互相加强，带来以往单独一方无法实现的网络防御的新水平。

        把AI技术和网络安全程序及系统结合的过程中，各个行业都有宝贵的机会，解决组织面临的最复杂和具有破坏可能性的风险因素。我们希望本报告有助于说明AI在防御网络攻击和数据泄露中扮演的重要角色，这些有前景的新工具不断发展，部署之后能更好地保护组织和他们所服务的个人。

概要总结

       新冠疫情已经加速了各行业的数字化转型，提高了效率。但因为采用更多的技术和越来越多的职员远程工作，也暴露了组织新的网络风险。从收集重要的商业和个人信息，到针对关键基础设施的复杂攻击，网络攻击的数量快速增加。同时，AI在各个行业的崛起，对组织使用技术改善网络防御提供了机遇和挑战。如果正确地使用和监控，AI能成为网络安全程序成功关键的有差异化竞争优势。

        本报告探讨了AI和网络安全重叠部分的认知。组织意识到了这个机会，但也清楚过度依赖AI保护自己潜在负面后果：

AI能提高网络安全

       通过自动化威胁检测，24小时处理大量数据，实时发现异常行为。尽管人类的支持仍然扮演重要角色，一起合作也许能实现强强联合，然而，AI网络安全系统控制权应该只提供给少数高度信任的人。

AI能引入网络安全漏洞

        尽管很多优点，AI方案不是万能钥匙，因为组织治理和策略在加强网络安全方面非常重要。部分由于在增长的威胁图景中，恶意攻击者使用AI渗透薄弱系统或利用依赖AI的网络系统的复杂性。

监管合规走向前台

        因为公司需要处理大量的法规，在客户、监管机构和公众中建立信任，数据隐私和透明不再是热门词汇。由于各州之间不同的规则，这会给美国公司带来合规挑战，如果在欧洲等区域运营，需采用国际惯例。

有关AI原则国际共识，将促进全球网络安全协议

        长期以来，缺少网络安全共同的规范和原则，一直难以达成全球认可的安全协议。AI可能改变这种情形，G20峰会已经在技术使用上达成共享原则，这一新的努力也许会为未来达成协议铺平道路。

第一章   新的网络安全范式

        多种因素的聚合效应已经凸显网络安全的重要性。首先，网络攻击正在增加，特别是由于新冠疫情，人们越来越多地在家工作，这是网络犯罪分子利用网络弱点的背景。来自国际刑警组织（International Criminal Police Organisation，INTERPOL）的研究表明，网络犯罪的数量在新冠疫情期间增加，主要的公司、政府和关键基础设施频繁遭到攻击。IBM估计2020年，数据入侵的平均成本达386万美元。

       随着网络攻击变得更加复杂和主要针对高价值组织及他们的数据，当公司为寻找竞争性优势，会更加依赖数据和技术。举一个最近的例子，黑客入侵了一家IT公司SolarWinds的软件方案，允许攻击者攻击包括美国政府在内的多个实体。这个案例强调了在网络安全生态系统中，“最弱环节”的重要性，在这个系统中，对一个公司的攻击可能对其他网络系统产生涟漪效果。

        在处理现代网络安全挑战的复杂性方面，AI被寄予厚望。最近的EIU调查中，接近一半的受访者（48.9%）认为AI和机器学习作为新兴技术，能够抵御针对私人组织的国家级攻击，随后是云计算（47.5%）也被期望为能提高网络安全。从2020年到2027年，AI在网络安全的年复合增长率预料以23.6%的速度增加，2027年达到463亿美元的市场规模。

        使用当前和新兴的威胁情报，AI能实现事件检测自动化。AI解决方案公司Beyond Limits的CEO AJ Abdallat说道：“AI能同时处理大量数据文件，显然比人类快很多，这非常重要，另一个关键点是能7*24小时工作，AI不需要午休，它不会疲惫。”AI提供的持续监控是最主要的优势之一，加上它能发现和监控系统中任何微小问题，标识异常。最近一项针对4500名企业高级决策者的调查表明，数据安全是实施AI的主要原因，超过流程自动化和业务流程优化等领域。

       MasterCard的安全&网络创新部门执行副总裁John Gerber说：“AI是能真正解决这些复杂大数据问题的唯一方法。”这反过来描述了组织面临的新挑战，包括技术的融合和重要性，政府法规（例如在欧洲，修订后的AI协调计划）对公司有更多的影响。Gerber先生补充说：“如果修订后的AI 协调计划是全世界最强的相关法规，这就是我们在任何地方做任何事情都喜欢用的规范，在系统中有完整性。”加州伯克利分校长期网络安全中心、AI安全倡议负责人Jessica Newman认为：“AI能支持网络安全目标-例如对网络罪犯的行为，生成新的洞察-但我们也被暴露出新的漏洞，既是因为AI系统本身的弱点，也是因为如何使用AI导致有问题的结果。”AI因此能同时加强和削弱安全，看它用来作为进攻性还是防御性工具。安永（EY）全球AI伦理和监管负责人，Ansgar Koene解释道：“黑客也能访问AI，利用它的能力发动攻击。”

AI暴露了新的复杂性，漏洞

       Newman认为，AI主要在三个领域能带来网络安全风险。首先，引入AI能增加我们所依赖的产品、服务、基础设施的复杂度和不透明性。她说：“令人震惊的是，保证AI系统实际上可靠、透明、强大和没有偏见等方面，缺少行业最佳实践或法规，我们正在增加行业中我们所依赖相当一部分系统的复杂度，不了解这些AI系统如何做出决策，以及是否应该信任他们。”

        其次，有一些独特漏洞和安全考虑。Newman 女士解释说：“当前AI技术难以抵御敌对攻击，像数据中毒和输入攻击。而且，AI系统常用来优化特定目标或奖励功能，他们最终完成目标的方法也许有问题或不安全。”

        最后，AI技术能够实现大量合成媒介，Newman 继续说：“AI通过大规模语言模型预测文本，生成虚假信息。”关于潜在的陷阱，斯坦福大学网络策略中心、网络和平学院主席和国际策略总监，Marietje Schaake补充道：“想像一下，用AI生成的语言，能使用一整套数据，生成非常可信、彼此相关文本，也许更容易欺骗人们，相信这是一个真邮件。”

        引入AI对系统增加的复杂度，AI本身容易受到攻击，攻击者能使用AI生成更复杂的攻击，所有这些加到一起，都表明涉及到网络安全，挑战和机会一样多。Gerber先生警告说：“AI已经被网络罪犯用于打败世界上的网络安全措施，但在我们如何攻击和解决网络安全方面，AI必须是我们未来的一部分。”

定义AI

       AI、机器学习、深度学习和其他类似术语，常被互相借用，但实际上还是有所区别。机器学习是AI基础算法的应用，而深度学习是机器学习的方法，因此，他们互相关联，本报告使用AI作为一个代表他们整体的术语，发现他们在网络安全中的作用。

       AI系统得到认可是因为他们的适用性和递归方法，他们解释结果，根据输入调节未来的行为。这是网络安全一个新兴但快速发展的领域，例如，认知计算系统，用来模拟人类思维的AI，结合机器学习算法和深度学习技术，自己学习，预测网络威胁。

        AI解决方案公司Beyond Limits的 CEO AJ Abdallat解释道：“AI和机器学习在识别行为、特征和异常行为时能做到的一切让人惊讶。”汇丰银行CISO，Monique Shivanandan补充说：“基于行为和洞察，AI和机器学习允许我们预测将要发生的事情，它允许我们消除噪音，关注真正发生的事情，以前几年闻所未闻的速度和幅度关联数据。”

 

第二章 AI&全球安全当务之急

       Monique Shivanandan说：“然而，这是硬币的两面，因为攻击者也使用AI和机器学习工具，我们需要做到的是赶在坏人前面。我们有能力以光速评估大量数据，因此我们能检测和快速响应可能发生的任何事。” 然而，为了网络安全目的实施AI的组织也许更容易受攻击，因为他们在防火墙后面引入了复杂的系统，除非他们了解这些系统。Newman说：“攻击者能有更多的途径侵入系统，获得权限。”他也指出未来我们可能看到更多基于AI的网络攻击。

       通过提高信息意识和增强协调，来应对各种形式的网络攻击，国家一直依靠计算机应急准备小组（CERT）或计算机安全事件响应团队（CSRIT）来跟踪网络攻击信息。最近，欧盟网络安全局（ENISA）已经强调了加强AI网络安全生态系统的重要性，指出其在未来必须扮演的角色。生态系统的关键部分和AI教育的需求有关，根据斯坦福大学AI 指数报告，2019年，65%的北美AI博士进入这个行业，高于比10年前的44%，强调了商业AI发展日益重要-虽然需求仍然超过供给，Germer先生说：“人才仍然短缺，” Newman女士补充说：“组织正在争抢他们所需要的各级能监控风险和技术实施的人才。”汇丰银行Shivanandan女士同意，发现合适的人才是成功的关键。“不仅仅是建立模型，而是保持、成长、发展和理解他们，避免欺骗或其他风险。”

打造国际共识

        除了人才短缺，全球普遍缺乏对网络安全和网络犯罪的协议。尽管看到他们在企业里面的重要性日益提高，在这样的讨论中，像AI这种新兴技术常常放在最后。Schaake 女士说：“新出现的服务表明，私人行业在制定规范方面，比任何立法机构或其他官方民主机构都先进得多。”

        因此全球的领袖们有必要在这个领域的世界标准最后达成一致。2019年，G20领导人欢迎基于经合组织（OECD）推荐的一系列原则。这个原则通过包容、以人为本、透明和问责制，寻求在AI方面推动信任和自信。Newman女士说：“这是个奇妙起点，提供共同的语言和目标，但显然，原则仅仅是开始，因为我们希望看到真正遵守这些标准和原则，负有更多责任。”2021年4月，欧盟委员会也发布了首个关于AI的法律框架，解决各种使用情况的风险，同时推动这个领域的创新。

        AI及扩展数据相关国际协议达成一致的前景，也许能够实现，对网络安全有着巨大的影响。Schaake女士说：“如果在AI和相关领域，如网络安全，达成国际上一致，我不会感到惊讶，”她补充说：“我认为存在这种势头，如果你看G7，都是民主国家，他们谈论技术的角色，比去年有更多的可能性。”她将这一事实归于快速发展的外交关系领域。“我认为有一个共识，在国家-国家的级别处理来自全球公司的伤害没有意义，现在下一步是事实上达成新的协议，一种新的共同定义，为了真正做一些事。”

视角：欧盟的AI法案

        2021年4月，欧盟发布了AI 法案（AI Act，AIA）草案，制定了AI分类框架和潜在AI监管要求。就像数据法，业务需要小心推进AI，注意到有新的工作，像GDPR和数据，让法律跟上并规范AI的使用。

       AI法案基于风险状况寻求监管“AI 系统”。委员会强调“大多数”当前使用的系统考虑到“最小风险”将不会被正式监管。然而，新的AI法案鼓励遵守由委员会和成员国规划的行为准则。

        对于“有限风险”系统，AI法案引入透明义务，例如，聊天机器人和深度欺骗。对那些认为是“高风险”产品，将会实施特定监管义务，如独立评估和申请“CE”标志，或修订已有的监管领域（例如产品安全和医疗设备）。

        在实施之时，GDPR的罚款（2000万欧元或每年收入4%，以较高为准）被认为“难以置信”。新的AI法案甚至会高达3000万欧元或每年6%收入的罚款，会被打上什么样的标签还有待观察。AI法案草案将可能像GDPR一样，产生全球影响，加剧贸易集团之间的紧张，例如在美国和欧洲之间过度的数据传输。

       Rafi Azim-Khan

       Pillsbury 合伙人，

        网络安全部门，数据保护&隐私实践部门 领导人

 

第三章 执行AI：道德，隐私&人为因素

       遨游于AI网络安全图景中，公司面临多种挑战，从技术复杂度到人为因素。特别是现在非常关注机器和人类之间的平衡及道德考虑，以及遵守不同数据隐私法规的合规要求。

       AI已经引发对工作减少的担心，同样的逻辑也适用于网络安全领域，因为异常检测能被自动化。但当实施和辅助系统时，人类仍然在其中扮演重要角色。Abdallat 先生说：“我非常相信，AI的未来是人类和机器之间真正的合作，最终，我相信AI将创造更多的工作，因为AI能为我们打开一扇解决很多创造性问题的大门，允许我们解决仅靠人类自己无法完成的挑战。”

       意识和培训程序因此能转变成组织能力，以建立成功的AI网络安全主张。这样的领域也包括正确的数据治理结构和数据策略，保证道德行为。有很多的例子，公司从海量的互联网平台抓取数据，把信息出售给执法机关和其他机构。Schaake 女士强调：“你必须从数据隐私和道德网络安全的角度来问你自己，在商用数据库中，关于个人数据的质量和错误对待。公司做出深远却无形的决策，对人类生活有重大影响。”Koene先生说：“我们在产业链的下游，看到越来越多的网络安全漏洞，甚至在供应商，很难说你需要访问每个人的个人数据，还认为这是符合GDPR方式。”制定公司策略，能在改善网络安全的同时道德地做事。Newman女士说：“我希望，从现在起5年，会建立起治理和法律框架，对我们周围正在实施的AI技术的安全和可靠给与更多信任，帮助实现公平和可持续的世界，我希望那是我们前进的方向，但我很担心在能够正确的控制这些系统和了解他们失败的原因之前实施他们，增加各行业风险，对处于劣势人民导致不成比例的伤害。”

全球数据隐私挑战

       在欧盟和欧洲经济区，数据隐私是一项基本的权利，许多其他司法管辖区紧随其后。加利福尼亚在2018年通过《消费者隐私法》，成为美国最严格的司法管辖区之一。但美国，也包括国际上，不同法规的组合，对公司跨越境业务生成挑战。Abdallat先生说：“目前和网络安全有关的一个关键元素是数据隐私，所有公司主要的担心。”

       数据法规，涉及到数据隐私，扮演重要角色。因为网络安全的目的，组织不得不限制收集、使用和存储数据的数量，特别像在加州和欧洲这样严格地区。谈到公司在美国各地遵守各种法规的困难，Abdallat说：“这绝对是一个劣势，如果我们有一个全国性系统，将允许我们关注一个统一的系统，而现在，我们要投入资源，研究50套不同的协议和程序，那些资源能实际上可以用于创新和实施解决方案。”

AI在关键基础设施上的角色和风险

       考虑到AI战略性的重要性和他们生成的数据量，某些行业获得了更多，但也失去了更多-这两点都导致他们成为网络入侵的更大目标。伯克利大学AI安全计划的项目负责人Jessica Newman说：“现在的形势非常可怕，把机器学习工具加入到许多业务流程中非常吸引人，事实上变得无所不在，但AI工具存在欺骗，攻击的漏洞，缺乏解释性。没有正确地治理和监督，我们将把行业、人们和环境暴露于更多的风险中。”最近的黑客对Colonial 管道的勒索软件攻击-导致美国东南的天然气供应不足，是网络攻击基础设施，蔓延到物理世界的主要例子。

       例如在美国，有16个行业被定义关键基础设施，如金融服务、能源和信息技术。因此这些行业使用威胁情报和AI提高他们对网络攻击的响应的可能性方面，需要比一般组织花费更多精力。然而，实施并不平衡，部分原因是由于缺少标准。AI 解决方案公司，Beyond Limits 公司的CEO，AJ Abdallat说：“我得说，行业之间各不相同，”Newman 女士补充道：“虽然全世界有很多AI治理草案和计划在筹备，我们还没有AI标准或总体监管来要求和保证我们对用户或更广泛的社会具有透明度，如果形式变坏时，任何形式的问责。”

安全之外：IoT，可视化和欺骗

       和网络安全有关的AI含义，和技术基础设施有关；人们认识到，这样的系统支撑广泛的应用，更普遍地增强网络防御。例如物理安全非常重要，因为潜在入侵者能使用个人方法获得对公司网络的访问，对某些行业特别重要-如能源、运输和房地产-智慧城市的兴起，依赖面部识别和各种传感器的技术。

       西门子能源的全球工业网络和数字安全部门副总裁，Leo Simonovich解释说：“石油和天然气、可再生用品正在经历一场能源革命，能源系统变得更清洁，更分布和更有效，其转变的核心就是数字化。转型的关键部分是用于IoT的传感器的实现，瑞典的跨国网络和通讯公司爱立信表示，这样的设备将从2020年的124亿个，增长到2026年的264亿。“每个这样的设备都可能有潜在的漏洞，但AI提供了巨大的前景，因为需要解决的核心挑战是可视化。”

可见或不可见

       因为企业既要了解用户需求，也要更有效地应对用户的竞争压力，使用生物识别技术和其他形式敏感数据的机器学习系统的重要性与日俱增。这为欺骗、隐私入侵和其他渎职行为开拓了新的路径。Koene 先生说：“看起来AI 系统在图像识别也许做得非常好，正在使用和人类看图片完全不同的方法，原则上，那并不意味着使用这个系统有任何问题，但意味着你能以某种形式操纵图像，虽然看起来和我们无关，但会触发AI系统生成完全不同的结果，”导致新的风险。

       人脸识别策略和相关识别技术，例如指纹，对组织仍然非常重要，但在机器学习和AI算法中也面临着潜在被欺骗的挑战，也许和法规冲突，产生道德问题，带来新的挑战。

人为因素

       当前由于缺少在各种水平上系统复杂性的认知能力，让AI自己成长不是一个好的做法。Newman女士说：“让决策脱离人类控制，同时增加技术复杂性，对系统如何工作缺乏整体透明度，将更难以完全理解、控制和监控他们，我们很容易忘记人类在AI生命周期的每个阶段的角色，做出如何训练这些模型和如何优化他们的决策，以及出于何种目的，如何使用他们。”

       因此必须牢记AI在网络安全方面成功地实施和使用中，人类的因素和决策。Abdallat说：“AI的问题是你将丢失掉我称为人类直觉或感觉的能力,因为现在你更多地依赖算法和机器，”因此他的公司采取数据驱动AI的方法，辅以人类知识补充。他说：“我们采用AI混合方法，赢取用户和管理层信任，因为得到一个可解释的答案非常重要，”意味着需要知道如何得出结论。纯数据驱动方法能提供答案，但不能解释如何达成这些结论，并可审计，而这两者都为最后的方案提供信心。西门子能源工业安全和数字安全的副总裁 Leo Simonovich同意这个观点：“你需要合作伙伴方式，清晰和有说服力的用户案例鼓励使用，结合人力和专业知识，推动业务成果，”Abdallat 先生说：“你确信能真正处理好数据策略、知识管理策略及步骤，才能站得上风。在这个周期中保证人力参与非常重要，但同时还要最小化介入。”因此在成功的网络安全中，AI和人力之间的平衡和互相依赖成为关键因素，信任、透明和问责制是对机器收益的补充。Shivanandan女士说：“我们不让机器学习算法没有人类的情况下运行，我们仍然需要人力基于实际和正在发生事情，去评估和调整我们的模型。”

第四章 从暂露头角到不可或缺

       人们广泛认可AI在网络安全的重要角色，在未来的5-7年内，随着组织认识到它的好处，会得到更多的采用。Abdallat说：“网络安全因为AI得到快速成长，在这个领域，随着采用更多的新技术，我们会看到惊人的增长。”例如，越来越多的方案提供商，使用机器学习工具提供持续监控和评估第三方厂商和供应商，告知他们的合作伙伴的安全情况，从而使公司更安全。Simonovich 说：“我们的能力取决于最弱的环节，我们需要合作伙伴应对行业层面的挑战，创建集体防御，为了保护中小规模企业，AI必须成为核心，因为中小企业可能作为漏洞源而被利用。”

       同时，随着系统复杂性提高，网络攻击者将快速利用他们，可能使用AI本身来渗透系统。Newman女士补充说：“第一个挑战是我们没有正确控制或检查，增加了复杂性，把网络安全目标复杂化，保护这些我们依赖的更广泛系统。”

       情况正在快速变化，Schaake女士说：“在下一个五年，我认为我们将了解更多的漏洞，物联网快速发展，更多设备易于接入和互联，但非常缺少保护，我们将发现一个薄弱环节如何影响整个系统。”

       因此AI用来增强而不是替代人类。Newman女士说：“技术没有达到把人类从过程中移除、将导致更好结果的信任点上，”混合方法利用AI 数据驱动模型，结合人类知识和工程，加上合适的策略，在改善网络安全方面实现双赢的局面。Simonovich说：“AI能帮助克服报警疲劳的想法，进行大规模分析，更快地得到答案，带来上下文和深入了解，因为最后人类最终需要关注的是精准防御。”

       Adballat说：“我认为投资建立强大基础设施，投资于培训管理和人员的公司将获得成功，而其他轻看基础设施的公司则会吃亏，你想找到合适的平衡，最小化人类参与的数量，从而降低风险，但同时你有监督-你仍然需要人类的参与。”

关于pillsbury

       Pillsbury是一家国际律师事务所，专注于技术&生命科学、能源、金融和房地产&建筑行业。被金融时代杂志认为是最具创新的律师事务所之一，BTI 咨询机构认为顶级客户服务公司之一。Pillsbury及其律师以他们前瞻性思考方法、跨学科合作的热情、商业意识的权威性而备受称赞。

       Pillsbury帮助全世界的客户，抓住AI带来的独特机会，从根本上改变和提高他们运维方式。我们多学科AI团队为初创公司和全球化企业、所有行业、政府机关提供咨询，帮助他们了解技术复杂度-日益出现的创新和不断变化监管和法律标准，在机器学习、自然语言处理或神经网络项目方面，我们和AI发明人、早期实践者、投资人携手合作，解决他们遇到的各种的商业、监管和责任问题。

       公司因为它提供的和网络安全、数据防护及隐私法律问题敏锐的洞察和稳定指导赢得杰出的名声。Pillsbury 律师为公共和私人部门所有形式的关键数据隐私问题，特别在技术、能源、金融、通讯、国防/政府合同、医疗健康行业、关键基础设施提供咨询。我们的跨国团队由监管机构、诉讼律师、交易律师、知识产权咨询、政府合同从业人员和立法战略团队组成，和全世界客户紧密工作，监测快速变化的数据和网络环境，应对相关安全挑战。

 

（完）

原文始发于微信公众号（安全行者老霍）：人工智能（AI）&网络安全