人工智能安全风险的内外根由与治理路径

党的十九届四中全会明确提出“建立健全运用互联网、大数据、人工智能等技术手段进行行政管理的制度规则。推进数字政府建设，加强数据有序共享，依法保护个人信息”。人工智能作为一项新技术，既可赋能安全，又会伴生安全问题。英国技术哲学家大卫•科林格里奇在其《技术的社会控制》一书中阐述的“科林格里奇困境”，一项技术的社会后果不能在技术生命的早期被预料到，然而当不希望看到的后果被发现以后，技术往往已经成为整个经济和社会的一部分，此时想要控制它将会十分困难。人工智能的安全问题伴生效应也会表现在两个方面：一是新技术的脆弱性导致系统自身出现问题，无法达到预设的功能目标，称之为新技术的“内生安全”；另一个是新技术脆弱性并没有给系统自身运行带来风险，但其脆弱性却被利用引发其他领域安全问题，这称之为“衍生安全”。综上所述，人工智能技术具有安全赋能与安全伴生两个效应。其中，安全赋能效应是指人工智能技术系统足够强大，可以提升安全领域的防御能力，也可以被应用于安全攻击；安全伴生效应是指人工智能技术存在问题或其可控性方面存在脆弱性，前者可以导致人工智能系统的运行出现问题，后者可以导致人工智能系统危及到其他领域的安全。本质上说，赋能攻击与衍生安全的外显行为都是人工智能系统会危及到其他领域的安全，差别仅仅是内因的不同：赋能攻击是攻击者利用人工智能技术的强大特性来主动提升破坏性效果；衍生安全是由于人工智能技术的脆弱性被利用，或者人工智能系统在可控性方面的脆弱性导致自身“意外”地形成破坏性效果，或者自主地形成破坏性效果，从而影响到其他领域的安全状况。

人工智能安全风险分为内生与衍生两种。内生安全是指人工智能技术存在问题或其可控性方面存在脆弱性，导致系统运行出现问题，无法达到预设的功能目标；衍生安全是指人工智能技术的脆弱性被利用，导致其危及到其他领域的安全。

（一）人工智能的内生安全

人工智能内生安全指的是人工智能系统自身存在脆弱性。部分原因是因为新技术自身不成熟，存在着一些安全漏洞，包含人工智能框架、数据、算法、模型任一环节都能给系统带来脆弱性，但这些漏洞通常会被发现并且可被改进；还有一种情况是新技术存在着天然的缺陷，使得某些客观存在的问题无法通过改进的方法来解决，此时只能采取其他手段加以防护。例如，在框架组件方面，难以保证框架和组件实现的正确性和透明性是人工智能的内生安全问题。框架是开发人工智能系统的基础环境，相当于人们熟悉的Visual C++的SDK库或Python的基础依赖库，重要性不言而喻。当前，国际上已经推出了大量的开源人工智能框架和组件，并得到了广泛使用。然而，由于这些框架和组件未经充分安全评测，可能存在漏洞甚至后门等风险。一旦基于不安全框架构造的人工智能系统被应用于关乎国计民生的重要领域，这种因为“基础环境不可靠”而带来的潜在风险就更加值得关注。此外，就云计算环境而言，由于云服务商拥有云资源，该资源仅仅是提供给云的租户使用而已，使得计算资源的使用者与拥有者分开，导致可信根的拥有者与需要保障安全的使用者不再是同一个对象，从而使可信根的模式在云计算平台上不再适用。同样，量子的塌陷效应使之难以用于通信，因为一旦出现监听，通信就被中止，致使通信的可靠性成为量子通信系统的软肋，使其大大降低了用量子通信系统构建传输通道的可行性。事实上，这种情况一直伴生在各种技术中。例如，对抗样本就是一种利用算法缺陷实施攻击的技术，自动驾驶汽车的许多安全事故也可归结为由于算法不成熟而导致的。由于互联网上的系统必须通过开放端口来提供服务，而开放端口本质上就相当于引入了一个攻击面，从而形成了脆弱性，这就是互联网服务的内生安全问题。

（二）人工智能的衍生安全

衍生安全其本质就是新技术自身的一些缺陷或脆弱性，并不会影响新技术自身的运行，但却会被攻击者利用而危害到其他的领域。例如既然人工智能模型是一个可复制、可修改的实体文件，就存在被盗取和被植入后门的安全风险，从而导致其他领域的安全问题。再如，物联网的传感部件具有信息辐射的特点，这并不影响物联网的正常运行，却使得信息泄露成为新的风险；社交网络不支持强制实名制时并不影响社交网络的正常运转，但却有可能被利用而助力了谣言的传播，从而无助于抑制负面行为，导致群体性事件的发生；近场通信在帮助人们便捷通信的时候，没有设置强制性通信握手环节以确认通信的发起是否自愿，尽管这并不影响NFC的正常使用，但不法分子却有可能利用这个缺失的环节来近距离盗刷用户的手机钱包等。

如上所述，衍生安全绝大多数情况下指的是新技术的脆弱性被攻击者所利用，从而引发其他领域的安全问题。人工智能技术当然也存在着同样的情况。近几年，智能设备安全事故频发：2018年3月优步（Uber）的自动驾驶汽车在美国亚利桑那州坦佩市撞死一名在人行道外过马路的妇女。因为人工智能的智能化判定需要高度依赖输入数据，自动驾驶的前提是要对环境参数进行正确的感知，一旦感知出现错误，如没有感知到对面的障碍物，其决策就是错误的。因此，这种依赖输入的现象可以被视为人工智能系统的一种脆弱性。这种脆弱性并不影响人工智能系统自身的运行，但攻击者可以利用这一点，如干扰自动驾驶汽车的雷达等传感设备，从而达到让自动驾驶汽车肇事的目的。

此外，人工智能技术还是一个十分少见的特例。这是因为人工智能的脆弱性不一定都被攻击者所利用，而是以一种“事故”的形式形成了对人类的直接威胁。人们经常看到的那些“机器人伤人”“自动驾驶出事故”的现象，本质上都是人工智能脆弱性所带来的问题，这时即便没有被攻击者有意利用，但由于“人工智能行为体”在运行状态下往往具有可伤害人类的“动能”，所以其自身就可以“自主”伤人。更有甚者，由于“人工智能行为体”具有自主学习能力，使得其可能在自我进化的过程中脱离人类控制，进而危及人类安全。而且，人工智能行为体系统功能越强大，其带来的威胁往往也会越大。由此可见，凡是具备自我进化能力的系统，都可能在不被他人主动利用其脆弱性的前提下引发安全问题，而人工智能技术的特殊性就在于其可成为打开“自我进化之门的钥匙”。因此，确保人工智能技术发展过程“安全可控”无疑是至关重要的。

（一）宏观：应对策略的理论考量——利益相关者理论

1984年著名管理学者弗里曼在他的著作《战略管理：利益相关者分析》里，第一次把利益相关者分析引进管理学中，并将利益相关者定义为“任何能影响组织目标的实现或受这种实现影响的团体和个人。”斯威齐则定义利益相关者为“受组织活动的影响并且有能力影响组织活动的人。”利益相关者理论的核心观点在于，组织应当综合平衡各个利益相关的利益要求，而不仅专注于财富的积累。不能一味强调财务业绩，还应该关注其本身的社会效益。管理者应当了解并尊重所有与组织行为和结果密切相关的个体，尽量满足他们的需求。根据利益相关者理论，将各利益相关者纳入组织决策，既是一种伦理要求，也是一种战略资源，而这两点都有助于提升组织的竞争优势。利益相关者是指影响组织行为及组织目标的实现，或是受到组织目标实现及其过程影响的个体和群体。根据这种解释宽泛的定义，任何个体和群体都可以称为人工智能安全风险治理的利益相关者。

宏观上，一方面要绘制人工智能安全风险利益相关者图。人工智能安全风险利益相关者图清晰地描绘谁是利益相关者集团，在采取新的风险防控战略时，代表哪个集团的利益，他们是否可能阻碍变革，他们的力量如何，应该怎样对待他们。绘制时首先确定所有利益相关者，标出他们之间的重要关系，然后分析这张图表所显示的风险与机会，识别任何可能的变化对这张图的影响，以便为此做好准备。另一方面，随着利益相关者理论不断深入，要区分出人工智能安全风险防控的主要利益相关者和次要利益相关者，平衡各方利益相关者的取向，从不同的利益相关者的角度评价治理绩效。研究也应聚焦于利益相关者的整体角度，展开诸如对利益相关者及其需求的了解、利益相关者与治理主体的互动、以及涉及利益相关者需求的决策等问题的探讨。对利益相关者的了解包括认清主要的利益相关者，并优先考虑他们的需求。另外，治理主体应当重点关注那些掌握权力、具有合法性、有紧迫需求或者兼有以上特性的利益相关者。

（二）微观：人工智能安全风险应对策略的主体行动

1.重视准入制度和标准规范建设，抢占智能安全控制权。人工智能作为高精尖技术，无疑是国家创新能力和核心竞争力的重要体现，通过积极参与人工智能行为规范、伦理准则的研究与制订，积极争取人工智能安全治理的主导权和话语权。一方面，国家应设置市场准入制度，强制要求人工智能必须按照标准规范预留接口以支持“保险箍”的接入，否则不允许入境或进入市场销售。准入制度主要针对的是人工智能设备制造商及零件制造商，判断其是否支持“保险箍”的接入也需要从多个角度判断。为了加速“保险箍”发展，应该优先为具有破坏能力的机器人设置准入制度并强制执行。例如，可以制定相应法律，要求具有破坏能力的机器人必须安装有“保险箍”这类的制约系统，就如同汽车必须设有刹车系统一样，并且这一要求应该成为市场准入前提，以便保护人类不受机器人的潜在威胁。另一方面，比准入制度更重要且实施难度更大的是制定与“保险箍”相关的标准规范。如果没有统一的标准规范，人工智能设备制造商就不知道应该预留何种接口、如何对“保险箍”认证、内置算法如何接受干预、采用何种协议来通信、传感器采集的数据如何共享、能源如何按需供给等，“保险箍”自然也就无法集成。在全球、全国、行业范围内制定标准规范是“保险箍”可以存在和发挥作用的基本前提，需要各国秉持开放共赢的精神，通过在国际范围内建立人工智能规范和标准，避免技术和政策不兼容导致的安全风险，积极推动各国人工智能安全发展。

2.确保公众知情权，多元工程主体共同努力实现人工智能安全可控。实现人工智能安全可控需要多元工程主体共同贡献自己的力量。从政府决策者角度，制定人工智能安全可用的顶层方案至关重要，从政策、法律法规层面可以推进人工智能安全发展，限制人工智能恶意利用等；从企业角度，遵守人工智能安全的相关标准和规范研发智能系统，保障人工智能系统的安全可用；从科研院所角度，大力研究保障人工智能安全的基础理论，突破智能算法设计、数据评估、安全测评等关键技术；从社会舆论角度，加大人工智能安全的宣传力度，让社会大众树立正确的人工智能技术安全应用意识，并时刻提防人工智能带来的安全隐患。与此同时，由于人工智能技术的应用涉及不同文化对信息保护、公平正义、民主治理以及社会发展趋势等方面的理解，所以必须要加强科技界、产业界、政策研究界的通力合作。作为和每一个自然人密切相关的技术，公众对于人工智能的发展及安全方面的信息、知识的获取，不但是其融入社会生活的一个充分条件，也是维护自身合法权益的必然要求。因此，每位社会公民都应当能够及时获取相关信息，对人工智能技术的发展、应用与推广享有充分的知情权，保证其知晓因人工智能技术进步而产生的社会经济利益以及可能衍生的安全风险。

3.提升高精尖人才自主培养质量，提高我国创新力和竞争力。创新驱动实质上是人才驱动，高精尖人才自主培养质量关系着国际竞争主动权掌握和社会主义现代化强国建设。当前，根据人工智能技术发展态势，聚焦国家重大战略需求，动态调整优化高等教育学科设置，有的放矢培养国家战略人才和急需紧缺人才，提升教育对高质量发展的支撑力、贡献力至关重要。智能新技术人才自主培养是一种重要的策略，对于国家、企业和社会组织来说，能够更好地适应快速发展的技术环境，提高自身的竞争力和创新能力。在智能新技术人才自主培养的过程中，我们需要采取以下措施：首先，建立培训计划，制定详细的培训计划，包括培训目标、培训内容、培训时间、培训方式等，以确保培训的针对性和有效性；其次，建立学习平台，通过建立在线学习平台，提供相关的学习资源和实践机会，以帮助人才更好地掌握智能新技术知识和技能；再次，重视招聘、选拔和实践，需要注重对人才在智能新技术领域的技能和经验的考察，以确保招聘到的人才能够适应市场和应用需求，同时注重实践和积累项目经验，为人才培养提供实践和项目经验的机会，以帮助他们更好地掌握智能新技术知识和技能，并将所学知识应用到实际工作中；最后，必须建立激励和奖励机制，鼓励员工主动学习和掌握智能新技术知识和技能，并对他们的学习成果和贡献进行奖励。通过以上措施更好地实现智能新技术人才自主培养的目标，增强我国人工智能领域的竞争力和创新能力。

人工智能技术会在国家安全、网络安全、社会生活各方面带来挑战和冲击，将利益相关者理论作为人工智能安全治理的理论基础，关注狭义的和广义的利益相关者战略，从不同的利益相关者的角度评价治理绩效和提出应对策略。诚然，人工智能的发展会带来各种风险，其他风险问题依然需要重视和研究，我们主要基于人工智能技术引致安全风险提出了相应解决对策，期望对人工智能研究的长远性发展有所贡献，提高技术治理成效。（文 | 北京林业大学纪委办 李嘉豪）

来源：中国社会科学网

原文始发于微信公众号（信息安全与通信保密杂志社）：人工智能安全风险的内外根由与治理路径