​人工智能安全风险分析

近年来，人工智能保持快速发展势头，但人工智能所带来的安全风险也不容忽视。

1. 用户数据用于训练，放大隐私信息泄露风险

当前，人工智能利用服务过程中的用户数据进行优化训练的情况较为普遍，但可能涉及在用户不知情情况下收集个人信息、个人隐私、商业秘密等，安全风险较为突出。一方面，人工智能模型日益庞大，开发过程日益复杂，数据泄露风险点更多、隐蔽性更强，人工智能所使用开源库漏洞引发数据泄露的情况也很难杜绝。另一方面，交互式人工智能的应用降低了数据流入模型的门槛。用户在使用交互式人工智能时往往会放松警惕， 更容易透露个人隐私、商业秘密、科研成果等数据，例如企业员工在办公时容易将商业秘密输入人工智能寻找答案，继而导致商业秘密的泄露。为应对该问题，特别是为保护个人信息安全，部分欧洲国家甚至已开始着手禁止ChatGPT等人工智能应用。

比如最近某App正在免费推广的数字人，申请数字人需要按照要求采集2分钟真人视频，后台对视频进行训练，生成数字人。数字人生成后，只需在App中输入文字，就可以生成一段视频，栩栩如生。这让我联想起了最近某网安视频号的防诈骗宣传视频，陌生人将妈妈的视频拿给小朋友看，视频中妈妈说这位阿姨是她的朋友，让阿姨带着小朋友去找她。AI说到底是个工具，是善是恶取决于使用者。而安全中人的因素占到了7成成以上。

（二）算法模型日趋复杂，可解释性目标难实现

长期以来可解释性都是制约人工智能用在司法判决、金融信贷等关键领域的主要因素，时至今日问题尚未解决、且变得更为棘手。由于深度模型算法的复杂结构是黑盒，人工智能模型天然缺乏呈现决策逻辑进而使人相信决策准确性的能力。为提升可解释性，技术上也出现了降低模型复杂度、突破神经网络知识表达瓶颈等方法，但现实中效果有限。主要是因为当前模型参数越来越多、结构越来越复杂，解释模型、让人类理解模型的难度变得极大，目前部分研究正朝借助人工智能解释大模型的方向探索。同时，由于近年来人工智能算法、模型、应用发展演化速度快，如何判断人工智能是否具备可解释性一直缺乏统一认知，难以形成统一判别标准。

（三）可靠性问题仍然制约人工智能关键领域应用

由于现实场景中环境因素复杂多变，人工智能难以通过有限的训练数据覆盖现实场景中的全部情况，因此模型在受到干扰或攻击等情况下会发生性能水平波动，严重时甚至可引发安全事故。尽管可通过数据增强方法等方式提高人工智能可靠性，然而由于现实场景的异常情况无法枚举，可靠性至今仍然是制约自动驾驶、全自动手术等关键领域应用广泛落地的主要因素。

（四）滥用误用人工智能，扰乱生产生活安全秩序

人工智能在对加速社会发展、提升生产效率等方面产生极大促进作用的同时，也出现了被滥用误用、恶意使用的现象，引起威胁社会安全、人身安全等负面事件。近年来，滥用误用人工智能方面，出现了物业强制在社区出入口使用人脸识别、手机应用扎堆推送雷同信息构筑信息茧房等问题。恶意使用人工智能方面，出现了利用虚假视频、图像、音频进行诈骗勒索、传播色情暴力信息等问题。

（五）模型和数据成为核心资产，安全保护难度提升

人工智能训练数据的获取以及模型开发已经逐渐变成重资产投入、重人力投入的工作，算法模型、参数、加工后的训练数据已成为核心资产， 不免遭到觊觎。通过模型窃取、成员推理等攻击手段反向获取模型、数据，或者利用人工标注、数据存储等环节的安全管理漏洞套取数据的情况时有发生。

（六）网络意识形态安全面临新风险

人工智能的目标是模拟、扩展和延伸人类智能，如果人工智能只是单纯追求统计最优解，可能表现得不那么有“人性”；相反，包含一些人类政治、伦理、道德等方面观念的人工智能会表现得更像人、更容易被人所接受。事实上，为了解决人工智能面对敏感复杂问题的表现，开发者通常将包含着开发者所认为正确观念的答案加入训练过程，并通过强化学习等方式输入到模型中，当模型掌握了这些观念时，能够产生更能被人接受的回答。然而，由于政治、伦理、道德等复杂问题往往没有全世界通用的标准答案，符合某一区域、人群观念判断的人工智能，可能会与另一区域、人群在政治、伦理、道德等方面有较大差异。因此，使用内嵌了违背我国社会共识以及公序良俗的人工智能，可能对我国网络意识形态安全造成冲击。

参考来源：《人工智能安全标准化白皮书》

原文始发于微信公众号（网络安全等保测评）：​人工智能安全风险分析