大国竞争时代人工智能如何抵御数据欺骗攻击?

  • A+
所属分类:云安全

大国竞争时代人工智能如何抵御数据欺骗攻击?
大国竞争时代人工智能如何抵御数据欺骗攻击?


孙子有云:“兵者,诡道也。”在今天的战争中,获取信息和施行欺骗之间的交锋与过去并没有本质或特征上的区别,这种对抗可能速度更快,可能以0和1的二进制计算机语言进行,可能涉及到呈指数级增长的原始数据。但是,对胜利最关键的不是处理信息的手段,而是信息的有效性。



因此,美国海军退役上校萨姆·坦格雷迪(Sam J. Tangredi)认为,当前美国国防部盛行“人工智能正在给战争带来根本性变化”的想法是危险的。虽然将人工智能作为管理信息的手段并扩大其军事应用无可厚非,但是人工智能只是处理信息的工具,既没有改变战争的特征,也没有改变战争的本质。坦格雷迪称,人工智能会改变战争的本质和特征这一假设将使美国国防面临风险,如果国防部依赖于经过改造后的商用人工智能,风险尤甚。以下是坦格雷迪为美国国防部提出的警告和建议。


大国竞争时代人工智能如何抵御数据欺骗攻击?

战争的特征与商用人工智能


美军拥有大量作战和战术信息,数据无处不在。为了使数字系统收集的不断增加的数据有意义,必须有一种更好的手段快速对信息进行汇编、存储和分类,因此对人工智能的投资是合理的。但是并不能对所有数据同等对待,因为许多数据是不相关的、不重要的、不完整的或是虚假的。而且,由于美国面临着潜在的大国冲突,美军将会收集到越来越多的虚假数据。


无论对于国防部,还是对于人工智能的发展来说,欺骗都是一个严峻的问题。企业界使用的许多人工智能在创建之初并没有考虑故意欺骗的问题。因为如果假设客户在购买需求方面会故意欺骗卖家,那么整个人工智能辅助营销的模式就崩溃了。为了使商用人工智能发挥作用,必须假设它没有被欺骗。


但战争是相反的,所有战争都建立在欺骗的基础上。如果说战争的本质是使对手屈服于己方意志的暴力,那这是人工智能无法改变的。如果说战争的特征是欺骗,这也是人工智能无法改变的。作为军事人工智能决策辅助系统的基础,商用人工智能在目前的发展状态下并不能改变战争的特征,而且这种特征和商用人工智能的使用是对立的。


为了避免错误的投资、过高的期望,国防部必须承认商用人工智能的设计在很大程度上并没有意识到战争的特点,也没有将欺骗作为其使用环境的一个要素。因此,要使人工智能适应除行政和维护功能之外的军事应用,美军必须投入更多时间、更多研究和更多财政资源来解决数据欺骗的问题。


大国竞争时代人工智能如何抵御数据欺骗攻击?

人工智能算法易受欺骗


如果没有可证实的准确信息,人工智能是很容易被欺骗的。举一个简单的例子,客户A进入一个网购平台,登录并选择一项他从不玩的运动(假设是网球),点击球拍、网球、网球服或相关装备。很快,该平台的营销算法(还有购买了客户A数据的其他公司)会调整客户A的资料,将网球包含在其信息中,客户A将收到大量网球装备的广告。如果A再浏览一些网球相关的专业网站,人工智能算法就会把A归类为网球运动员,即使他从未拿起过网球拍。


在国家安全领域也有类似的效果,对手被佯攻、虚假演习、虚假报告、公开展示能力等活动所欺骗的例子有很多。而且这个问题不仅仅存在于战时,和平时期的计划和分析也经常被引入歧途。人工智能算法是对数据进行统计分析的程序,从获得信息的角度来看,获取数据的传感器比算法本身更关键。如果没有传感器来验证信息(比如用摄像头检测A是否实际踏入过网球场),人工智能的建议并不会比人类的猜测更好。


大国竞争时代人工智能如何抵御数据欺骗攻击?

没有数据就没有人工智能


人们所称的人工智能与通常所理解的智能毫无关系。人工智能其实是更高层次的计算,可以快速关联大量数据,并已有能力进行语音和视觉识别。这两项能力都需要海量的数据,人工智能基于统计学方法,将输入信息和大量的训练数据进行对比,直到二进制电子计算的0和1找到一个近似的拟合。


机器学习和大数据是在统计技术中“创造”人工智能的要素。机器学习实际上是对处理过程的编程,而大数据是被处理的信息。这些术语掩盖了一个事实,即机器学习是没有意义的,如果没有可用的、准确的信息,人工智能就不能发挥作用。现实情况是,并不是谁拥有最好的人工智能谁就能主导政治军事决策,而是在所有其他权力要素相对平等的情况下,谁拥有最准确、有意义而且无欺骗的数据,谁就能占据主导地位。


没有准确的数据,再好的算法或人工智能机器也无法发挥作用。因此,国防部应该在考虑以下三个重要问题后再决定是否将资金投入某个人工智能解决方案:首先,该人工智能系统所依赖的数据在对抗性环境中是否可用?第二,如果只有不完整或部分不准确的数据,该人工智能系统能否为决策提供合理的帮助?第三,该系统能否预测和识别数据中的欺骗行为?问题在于,现有的民用人工智能系统在开发时并没有考虑这些问题。


大国竞争时代人工智能如何抵御数据欺骗攻击?

在大国竞争中争夺数据


在冷战期间,苏联舰队司令谢尔盖·戈尔什科夫将信息的收集和处理等开展作战之前的活动称为“争取第一炮”。这种观点认为,拥有最准确信息并且能够先发制人的部队会取得胜利。已故美国海军战术大师韦恩·休斯上校把这种优势称为“有效的先发攻击”。


有效的进攻需要比敌人更快、更正确地处理准确信息。因此,信息的准确性再次成为基本要求。人工智能本身可以成为确定这种准确性的工具,但是这需要把人工智能设计为能够认识到接收的所有信息都可能被操纵。


自冷战结束以来,美军所参与冲突的对手并不具备作战层面上的同等能力。从“沙漠风暴”行动开始,美军在可用的、准确的信息方面比敌人拥有巨大的优势,因此美军很少认真考虑过战略欺骗或作战欺骗的可能性。虽然战术欺骗是有可能的,但是美军认为通过增加传感器的数量来收集更多的信息可以消除欺骗。不过,美军忽略的一点是,伊拉克、塔利班、利比亚这些对手在作战层面上不具备欺骗美军传感器网络的能力。


在人工智能的军事应用潜力逐渐凸显时,国防决策对欺骗的关注也在慢慢消失。国防部满足于丰富的信息获取渠道,而科技界认为信息在本质上是准确的,随着收集的信息越来越多,应用的算法越来越深入、复杂,商用人工智能认为自己不可能被欺骗。


但是在未来的大国冲突中,这个假设是绝对错误的。美国的潜在对手(中国和俄罗斯)拥有的欺骗能力远超冷战后美国面对的敌人,而且中俄在人工智能系统开发方面与美国不相上下。在大国竞争中,对准确信息的争夺将更加困难,军事人工智能必须建立在这一基本原则之上。


大国竞争时代人工智能如何抵御数据欺骗攻击?

美军“海洋物联网”(OoT)项目通过部署大量海上浮标组成分布式传感器网络,实现对大范围海洋区域的持续态势感知。


大国竞争时代人工智能如何抵御数据欺骗攻击?

未来是关于信息而非人工智能的


为了管理军事人工智能的发展,国防部应该认识到欺骗是必须考虑的因素,而且是要纳入人工智能设计起始阶段的因素。


国防部必须对军事人工智能抱有较为现实的期望,未来的作战效果取决于信息,而不是人工智能本身。人工智能有助于更快地处理信息,但未必更准确。比计算系统更重要的是传感器,没有准确的信息,人工智能系统就会产生虚假的结果。


战略层面上的问题是,美军已经非常依赖而且沉迷于冷战结束后在战争和干预中获得的大量信息,但是在未来的大国竞争中美军获得的准确信息会越来越少,人工智能算法无法改变这个趋势。为了减轻欺骗造成的后果,对传感器能力的投资需要等于或超过对人工智能的投资。国防部必须在规划对军事人工智能的投资时更加深思熟虑,而且对人工智能在大国冲突中的战略可靠性持更加怀疑的态度。


大国竞争时代人工智能如何抵御数据欺骗攻击?

情报评述


驱动人工智能发展的三大要素是算法、数据和算力。这篇文章认为美国国防部在发展军事人工智能时过于关注算法和程序,忽略了数据尤其是数据的准确性。作者强调,在大国竞争时代,设计军用人工智能系统时应考虑对手虚假数据的欺骗,同时加强传感器网络建设,以提高人工智能系统在对抗性环境中的可靠性。


实际上,美军对数据欺骗并非毫无准备,美国国防高级研究计划局(DARPA)已经开展了多个项目提升人工智能系统的防御性能。例如,2019年DARPA设立“确保人工智能抵御欺骗的稳健性”(GARD)项目,目标是开发新一代对机器学习模型对抗性欺骗攻击的防御技术;2020年DARPA发起“欺骗逆向工程”(RED)项目,将对信息欺骗攻击的工具链开展逆向工程。



免责声明:本文转自海鹰资讯,原作者韩雨。文章内容系原作者个人观点,本公众号转载仅为分享、传达不同观点,如有任何异议,欢迎联系我们!



推荐阅读

技经观察 | 拜登百日成绩单:综述篇

技经观察 | 拜登百日成绩单:中美关系篇

技经观察 | 拜登百日成绩单:气候篇

技经观察 | 拜登百日成绩单:外交篇

技经观察 | 美国倡导Quad紧密合作,在印度-太平洋地区联合对抗中国


转自丨海鹰资讯

作者丨韩雨

编辑丨翟丽影


大国竞争时代人工智能如何抵御数据欺骗攻击?


研究所简介


国际技术经济研究所(IITE)成立于1985年11月,是隶属于国务院发展研究中心的非营利性研究机构,主要职能是研究我国经济、科技社会发展中的重大政策性、战略性、前瞻性问题,跟踪和分析世界科技、经济发展态势,为中央和有关部委提供决策咨询服务。“全球技术地图”为国际技术经济研究所官方微信账号,致力于向公众传递前沿技术资讯和科技创新洞见。


地址:北京市海淀区小南庄20号楼A座

电话:010-82635522

微信:iite_er


大国竞争时代人工智能如何抵御数据欺骗攻击?

本文始发于微信公众号(全球技术地图):大国竞争时代人工智能如何抵御数据欺骗攻击?

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: