-
在整个AI系统生命周期中，数据未被篡改； -
数据中不含恶意、不当或未经授权的内容； -
不存在意外重复或异常信息。
- 数据投毒（Data Poisoning）
：在训练集中注入恶意样本，使模型学到错误模式； - 对抗样本（Adversarial Examples）
：添加微小扰动，使模型产生错误预测； - 模型反演（Model Inversion）
：通过分析模型输出反推训练数据，进而泄露敏感信息。
由于机器学习模型通过数据学习决策逻辑，因此如果攻击者能操控数据，就可能篡改AI系统的逻辑。
美国国家标准与技术研究院（NIST）在其《AI风险管理框架》中定义了AI系统生命周期的六个阶段，从“规划与设计”开始，一直到“运行与监控”。
以下表格总结了各生命周期阶段的数据安全关键维度、持续评估要求、重点安全关注点及与本指南相关的特定数据安全风险：
|
阶段 |
关键维度 |
安全重点 |
涉及的数据安全风险 |
|
1. 规划与设计 |
应用上下文、审计与影响评估 |
从系统初始阶段起引入数据安全措施，设计稳健的安全协议、威胁建模及“隐私即设计”理念 |
数据供应链 |
|
2. 数据收集与处理 |
数据与输入、内部与外部验证 |
确保数据完整性与真实性，实施加密、访问控制、最小化、匿名化与安全传输 |
数据供应链、恶意篡改数据 |
|
3. 模型构建与使用 |
AI模型、模型测试 |
防止数据篡改，确保数据质量与隐私（可包含差分隐私、安全多方计算等），保护模型训练与运行环境 |
数据供应链、恶意篡改数据 |
|
4. 验证与确认 |
AI模型、模型测试 |
执行全面的安全测试、识别与缓解风险、验证数据完整性、对抗性测试、必要时执行形式化验证 |
数据供应链、恶意篡改数据 |
|
5. 部署与使用 |
任务与输出、集成、合规测试与验证 |
实施严格的访问控制、“零信任”架构、安全传输与存储、安全API端点、行为异常监控 |
数据供应链、恶意篡改数据、数据漂移 |
|
6. 运行与监控 |
应用上下文、审计与影响评估 |
持续进行风险评估、监测数据泄露、安全删除、法规合规、事件响应与定期审计 |
数据供应链、恶意篡改数据、数据漂移 |
-
数据去标识化（如数据屏蔽）：通过用拟真但非真实的数据替换敏感信息，使AI系统在不暴露敏感信息的情况下利用数据集，减少数据泄露的影响，并支持安全的数据共享和协作。在可能的情况下，使用数据屏蔽来促进 AI 模型的训练和开发，而不会损害敏感信息。 -
差分隐私：通过引入可控噪声量来提供隐私保障，可防止成员推理攻击，但在保护训练数据免受推理攻击和目标任务准确性之间存在权衡。 -
分布式学习（如联邦学习）：允许人工智能系统在多个本地数据集上进行训练，聚合模型合并分布式模型的结果，限制本地模型对更大训练数据集的访问。建议在训练与推理过程中采用安全多方计算。
我们提供的产品服务、解决方案包括
1、“数据跨境综合解决方案”，助力企业跨境数据合规管理；
2、“粤港澳大湾区数据保护与数据跨境专项服务”，为粤港澳行业企业以及高校和研究机构等提供一系列“合规咨询+管理体系规划+IT解决方案”；
3、“粤港澳大湾区数据保护和数据跨境服务平台”，引导企业数据合规体系建设，全方位提升企业数据治理水平与合规能力；
4、多年来，我们连续举办数据技术、数据保护、数据跨境等领域的产业会议，包括“GDTC全球数据技术大会”、“粤港澳大湾区数据合作会议”、“隐私科技与数据跨境流通论坛”等，旨在推动数据技术的创新应用，强化国际合作与产业协同，为数据和AI产业发展提供坚实支撑；
5、面向产业界开展IDS数据空间测试认证服务，全面推动国际数据空间的互操作性和安全可信。
如有业务合作或商业洽谈：
请致电010-56381685或13521415616；
或发送邮件至[email protected]或[email protected]与我们联系。
产品服务
01
02
03
数据信任与治理
“数据信任与治理”由下一代互联网国家工程中心运营。放眼全球数据治理前沿理论与实践进展，探索可信数据治理的中国模式，促进数据要素有序流通，释放数字经济红利。
TDG focuses on the cutting-edge theory and practice of global data governance, explores the Chinese model of trusted data governance, promotes global data flow, and fulfills the potential of the digital economy.
原文始发于微信公众号（数据信任与治理）：五国网络安全机构联合发布保障AI系统数据安全的指南
- 左青龙
- 微信扫一扫
-
- 右白虎
- 微信扫一扫
-
评论