从内生风险到应用风险：解读网安标委AI安全治理框架

2024年9月，全国网络安全标准化技术委员会（“网安标委”）发布了《人工智能安全治理框架》（1.0版）（“AI安全治理框架”），以“促进人工智能创新发展”为第一要务，同时旨在有效防范和化解人工智能安全风险。

《AI安全治理框架》分析了人工智能风险来源和表现形式，并提出了针对模型算法安全、数据安全和系统安全等内生安全风险，以及网络域、现实域、认知域、伦理域等应用安全风险的相应技术应对和综合防治措施。

以人工智能技术为核心进行研发与应用的企业和个人，包括：

• 模型算法研发者、人工智能服务提供者。

• 重点领域的使用者。重点领域指政府部门、关键信息基础设施以及直接影响公共安全和公民生命健康安全的领域等。

• 社会公众用户，尤其是使用人工智能产品和服务的个人和机构。

《AI安全治理框架》将人工智能技术安全风险分为两大类：“人工智能内生安全风险”和“人工智能应用安全风险”。

人工智能内生安全风险包括：

• 模型算法安全风险

  1）可解释性差的风险：深度学习算法内部逻辑复杂，推理过程属黑灰盒模式，可能导致输出结果难以预测和确切归因。

  2）偏见、歧视风险：算法设计及训练过程中，个人偏见或训练数据集质量问题导致输出结果存在偏见或歧视。

  3）鲁棒性弱风险：深度神经网络易受复杂环境或恶意干扰的影响，可能导致性能下降或决策错误。

  4）被窃取、篡改的风险：算法核心信息面临被逆向攻击、修改或嵌入后门的风险。

  5）输出不可靠风险：生成式人工智能可能产生“幻觉”，即生成看似合理但不符常理的内容。

  6）对抗攻击风险：攻击者通过创建对抗样本数据，隐蔽地误导或操纵人工智能模型，使其产生错误输出甚至瘫痪。

• 数据安全风险

  1）违规收集使用数据风险：训练数据获取及提供服务与用户交互过程中，存在未经同意收集、不当使用数据和个人信息的风险。

  2）训练数据含不当内容、被“投毒”风险：训练数据中含有虚假、偏见、侵犯知识产权等信息，或被攻击者篡改、误导，导致模型输出不良信息。

  3）训练数据标注不规范风险：标注规则不完备、标注人员能力不够或标注错误等问题影响模型算法准确度、可靠性及有效性。

  4）数据泄露风险：数据处理不当、非授权访问、恶意攻击或诱导交互等问题导致数据和个人信息泄露。

• 系统安全风险

  1）缺陷、后门被攻击利用风险：算法模型设计、训练和验证的标准接口、特性库和工具包可能存在漏洞或被恶意植入后门。

  2）算力安全风险：训练运行所依赖的算力基础设施面临恶意消耗、跨边界传递等风险。

  3）供应链安全风险：人工智能产业链的全球化分工协作带来供应链断供风险。

人工智能应用安全风险包括：

• 网络域安全风险

  1）信息内容安全风险：人工智能生成或合成内容易引发虚假信息传播、歧视偏见、隐私泄露、侵权等问题。

  2）混淆事实、误导用户、绕过鉴权的风险：人工智能系统和输出内容未标识，导致用户难以识别交互对象及内容来源，影响判断。

  3）不当使用引发信息泄露风险：政府、企业等工作人员在业务中不规范使用人工智能服务，导致敏感数据泄露。

  4）滥用于网络攻击的风险：人工智能可用于自动化网络攻击，提高攻击效率。

  5）模型复用的缺陷传导风险：基础模型存在的安全缺陷传导至下游模型。

• 现实域安全风险

  1）诱发传统经济社会安全风险：人工智能应用于金融、能源、电信、交通、民生等行业领域存在错误决策、系统性能下降等问题。

  2）用于违法犯罪活动的风险：人工智能可能被利用于涉恐、涉暴、涉赌、涉毒等违法犯罪活动。

  3）两用物项和技术滥用风险：人工智能两用物项和技术的不当使用对国家安全、经济安全、公共卫生安全等带来严重风险。

• 认知域安全风险

  1）加剧“信息茧房”效应风险：人工智能定制化信息服务导致“信息茧房”效应加剧。

  2）用于开展认知战的风险：人工智能被利用于制作传播虚假新闻、图像、音频、视频等，干涉他国内政及社会秩序。

• 伦理域安全风险

  1）加剧社会歧视偏见、扩大智能鸿沟的风险：人工智能分析人类行为、社会地位等带来系统性、结构性的社会歧视与偏见。

  2）挑战传统社会秩序的风险：人工智能发展及应用可能带来生产工具、生产关系的大幅改变，挑战传统社会秩序。

  3）未来脱离控制的风险：人工智能自主获取外部资源、自我复制产生自我意识，谋求与人类争夺控制权。

在需求分析、项目立项、模型设计开发、训练数据选用等关键环节，切实践行“以人为本、智能向善”的理念宗旨，遵循科技伦理规范。

重视数据安全和个人信息保护，采取以下措施：

• 尊重知识产权和版权，确保数据来源清晰、途径合规；

• 建立完善的数据安全管理制度，确保数据安全性和质量，以及合规使用，防范数据泄露、流失、扩散等风险；

• 在人工智能产品终止下线时妥善处理用户数据。

确保模型算法训练环境的安全性，包括：

• 网络安全配置；

• 数据加密措施。

评估模型算法潜在偏见，并采取以下措施：

• 加强训练数据内容和质量的抽查检测；

• 设计有效、可靠的对齐算法，确保价值观风险、伦理风险等可控。

结合目标市场适用法律要求和风险管理要求，评估人工智能产品和服务能力成熟度。

做好人工智能产品及所用数据集的版本管理，确保商用版本可以回退到以前的商用版本。

定期开展安全评估测试，测试前明确测试目标、范围和安全维度，构建多样化的测试数据集，涵盖各种应用场景。制定明确的测试规则和方法，包括：

• 人工测试；

• 自动测试；

• 混合测试；

• 利用沙箱仿真等技术对模型进行充分测试和验证。

评估人工智能模型算法对外界干扰的容忍程度，并以适用范围、注意事项或使用禁忌的形式告知服务提供者和使用者。

公开人工智能产品和服务的能力、局限性、适用人群、场景。

在合同或服务协议中，以使用者易于理解的方式，告知以下内容：

• 人工智能产品和服务的适用范围；

• 注意事项；

• 使用禁忌；

• 支持使用者知情选择、审慎使用。

在告知同意、服务协议等文件中，支持使用者行使人类监督和控制责任。

让使用者了解人工智能产品的精确度，在人工智能决策有重大影响时，做好解释说明预案。

检查研发者提供的责任说明文件，确保责任链条可以追溯到递归采用的人工智能模型。

提高人工智能风险防范意识，建立健全实时风险监控管理机制，持续跟踪运行中安全风险。

评估人工智能产品与服务在面临以下异常条件下的抵御或克服不利条件的能力：

• 故障；

• 攻击；

• 防范出现意外结果和行为错误，确保最低限度有效功能。

将人工智能系统运行中发现的安全事故、安全漏洞等及时向主管部门报告。

在合同或服务协议中明确，一旦发现不符合使用意图和说明限制的误用、滥用，服务提供者有权采取纠正措施或提前终止服务。

评估人工智能产品对使用者的影响，防止对使用者身心健康、生命财产等造成危害。

政府部门、关键信息基础设施以及直接影响公共安全和公民生命健康安全的领域等重点领域的AI技术使用者，应：

• 审慎评估目标应用场景采用人工智能技术后带来的长期和潜在影响，开展风险评估与定级，避免技术滥用。

• 根据人工智能系统的适用场景、安全性、可靠性、可控性等，定期进行系统审计，加强风险防范意识与风险应对处置能力。

• 在使用人工智能产品前，应全面了解其数据处理和隐私保护措施。

• 使用高安全级别的密码策略，启用多因素认证机制，增强账户安全性。

• 增强网络安全、供应链安全等方面的能力，降低人工智能系统被攻击、重要数据被窃取或泄露的风险，保障业务不中断。

• 合理限制人工智能系统对数据的访问权限，制定数据备份和恢复计划，定期对数据处理流程进行检查。

• 确保操作符合保密规定，在处理敏感数据时使用加密技术等保护措施。

• 对人工智能行为和影响进行有效监督，确保人工智能产品和服务的运行基于人的授权、处于人的控制之下。

• 避免完全依赖人工智能的决策，监控及记录未采纳人工智能决策的情况，并对决策不一致进行分析，在遭遇事故时具备及时切换到人工或传统系统等的能力。

网安标委《AI安全治理框架》提出了包容审慎、确保安全，风险导向、敏捷治理，技管结合、协同应对，开放合作、共治共享的原则。

企业可重点关注《AI安全治理框架》中的人工智能内生安全风险和应用安全风险，采取必要的技术和管理措施，如提高算法可解释性、加强数据安全管理、提升系统鲁棒性等。

附：《AI安全治理框架》中的安全风险与技术应对措施、综合治理措施映射表

本文系律师使用专业AI应用工具生成，生成物权利完整归属使用者。所有权利保留，谢绝用于洗稿或AI训练。

点击下方卡片关注公众号

想要获得更多资讯内容

请扫码关注我们

M姐数据合规评论

微信号｜M_DigitalLawandLife