云控制矩阵（Cloud Control Matrix，CCM）是由云安全联盟（CSA）开发的云安全控制框架，被世界各国公认为全球通用的黄金标准。CCM v4.0 包括17个控制域中的197个控制目标，全方位涵盖了云计算技术的安全领域。它可以用作对云计算实施的系统性评估工具，也可以作为云计算供应链中各角色与安全控制关系的指导。
本文重点关注CCM中其中一个安全域，应用程序和接口安全（Application & Interface Security，AIS）。AIS控制域主要是为了确保软件、应用程序开发和生命周期管理流程的安全。
经过将CCM的AIS安全域适用于对生成式人工智能的AIS控制的分析，CCM对GenAI安全评估有一定适用性，特别是从管理角度保障AI应用的基础安全。未来可以把GenAI安全评估检测标准与CCM 结合起来，保证基于云的AI服务在算力基础设施、模型、数据等全方面的安全。
文末附《云控制矩阵 v4》（ 中英文版）下载方式
CCM因其独特属性而成为评估生成式人工智能控制的合适框架：
1. 全面覆盖：CCM 包含与云环境相关的广泛安全控制，与通常在云中运行的生成式AI模型的多方面安全需求高度契合。
2. 灵活适配：CCM最初是为了云安全而设计的，其模块化结构易于定制和扩展，以满足生成式AI系统的特定要求。
3. 行业认可：CCM 在行业内被广泛认可，是与既定最佳实践同步的坚实基础。
4. 监管合规性：考虑到全球法规，将 CCM 应用于生成式 AI 可确保安全性并遵守国际标准。
5. 方法论评估：CCM按领域（如“应用程序与接口安全（AIS）”）组织，促进结构化评估方法，可以覆盖每一个安全方面。
6. 社区驱动更新：CCM持续以安全专家多元化社区的意见为参考，保持其相关性，能够应对生成式AI领域快速发展中的新威胁。
7. 审计重点：鉴于许多人工智能模型的不透明性，CCM 对审计保证和合规性的关注对于一致的安全和道德评估至关重要。
从本质上讲，CCM 的全面性、适应性和结构化性质，加上其行业赞誉和全球合规性，使其成为评估和实施生成式 AI (GenAI) 系统控制的理想选择。
以下重点介绍将CCM的AIS领域应用于GenAI领域。
01
AIS 控制：它们是什么以及
它们在生成式 AI 中的应用
CCM的“应用程序和接口安全（AIS）”域包括7个控件；我们将回顾这 7 个控件，然后列出它们对生成式人工智能（GenAI） 的适用性。
AIS 控制审查
1. AIS-01：应用程序和接口安全策略和规程：建立、记录、批准、沟通、申请、评估和维护应用程序安全策略和规程，为组织的应用程序安全能力的适当规划、交付和支持提供指导。
2. AIS-02：应用程序安全基线需求：建立、记录和维护应用程序的基线要求。
3. AIS-03：应用程序安全指标：根据业务目标、安全需求和合规义务，定义和实施技术和运营的指标。
4. AIS-04：应用程序安全设计和安全开发：根据组织定义的安全需求，定义并实施应用程序设计、开发、部署和运营的SDLC流程。
5. AIS-05：自动化应用程序安全测试：实施一个测试战略，包括新的信息系统、升级和新版本的接受准则，这提供了应用程序的安全保障，并在实现组织交付速度目标的同时保持符合性。
6. AIS-06：自动化应用程序安全部署：为安全、标准化和兼容的应用程序部署建立和实施战略和能力。
7. AIS-07：应用程序脆弱性修复措施：定义并实施修复应用程序安全脆弱性的过程。
AIS 控制和生成式AI的适用性
下表给出了 AIS 控制对生成式 AI 的适用性。
表1：AIS 控制及其对生成式 AI 的适用性
|
控制ID |
控件标题 |
控制规格 |
生成式人工智能的适用性 |
|
AIS-01 |
应用程序和接口安全策略和规程 |
建立、记录、批准、沟通、申请、评估和维护应用程序安全策略和规程，为组织的应用程序安全能力的适当规划、交付和支持提供指导。 |
管理人工智能模型访问、交互和审查的策略可确保随着模型的发展而保持强大的安全性。 |
|
AIS-02 |
应用程序安全基线需求 |
应用程序安全基线需求：建立、记录和维护应用程序的基线要求。 |
基准安全标准可保护生成式人工智能免遭未经授权的访问和无意的数据泄露。 |
|
AIS-03 |
应用程序安全指标 |
根据业务目标、安全需求和合规义务，定义和实施技术和运营的指标。 |
未经授权的访问尝试或生成内容的质量等指标可提供对人工智能系统操作的深入了解。 |
|
AIS-04 |
应用程序安全设计和安全开发 |
根据组织定义的安全需求，定义并实施应用程序设计、开发、部署和运营的SDLC流程。 |
安全机制（例如防止模型反转攻击的机制）应该从设计阶段就进行集成。 |
|
AIS-05 |
自动化应用程序安全测试 |
实施一个测试战略，包括新的信息系统、升级和新版本的接受准则，这提供了应用程序的安全保障，并在实现组织交付速度目标的同时保持符合性。 |
自动化测试可确保人工智能按预期运行，验证内容是否符合准则并检查漏洞。 |
|
AIS-06 |
自动化应用程序安全部署 |
为安全、标准化和兼容的应用程序部署建立和实施战略和能力。 |
AI 模型更新期间的自动检查可确保安全性不受影响，验证生成的内容和漏洞。 |
|
AIS-07 |
应用程序脆弱性修复措施 |
定义并实施修复应用程序安全脆弱性的过程。 |
快速修复对于生成人工智能中的漏洞至关重要，这可能涉及修补模型或更新训练数据。 |
02
AIS 控制及其在银行业
生成式AI中的具体应用
本节以银行业中的 GenAI 为例，讨论银行业安全采用生成式人工智能的应用程序和接口安全 (AIS) 控制示例。
AIS-01：应用程序和接口安全策略和规程
- 背景：在银行领域，人工智能模型，尤其是聊天机器人，处理从账户余额到贷款查询等敏感的用户查询。
- 示例：以一个名为“BankBot”的生成式人工智能聊天机器人为例，它可以帮助用户浏览其在线银行门户。“BankBot”的策略必须明确定义谁可以训练和修改模型、模型用于处理和响应客户查询的确切流程，以及审查和更新这些策略的频率。这确保了“BankBot”在不损害用户数据的情况下提供准确的信息。
AIS-02：应用程序安全基线需求
- 背景：银行应用程序经常处理高度敏感的用户数据，因此该领域的人工智能模型满足严格的安全标准至关重要。
- 示例：一个根据用户资料预测贷款资格的人工智能模型必须采用加密标准来保护用户数据，拥有强大的身份管理协议以防止未经授权的访问，并确保所使用的每条数据都得到最大程度的机密性处理。
AIS-03：应用程序安全指标
- 背景：指标有助于定量衡量人工智能模型的性能和安全性。
- 示例：对于银行业用于预测潜在贷款违约的人工智能模型，指标可以包括其预测准确性、未经授权的访问尝试次数及其响应时间。持续监控这些指标可确保模型以最佳且安全的方式运行。
AIS-04：应用程序安全设计和安全开发
- 背景：鉴于金融交易的敏感性，银行应用程序需要高标准的安全性。
- 示例：一个为银行投资部门预测股市趋势的生成人工智能模型必须设计为安全处理财务数据，确保从设计阶段就解决潜在的数据泄漏或偏差问题。
AIS-05：自动化应用程序安全测试
- 背景：自动化可确保安全检查的一致性和连续性。
- 示例：银行业聊天机器人（例如“BankBot”）的自动化测试将确保它不会无意中共享敏感信息，例如帐户详细信息、之前的交易或生成的响应中的其他机密数据。
AIS-06：自动化应用程序安全部署
- 背景：随着人工智能模型的发展，确保其安全部署至关重要。
- 示例：在推出欺诈检测模型的更新版本之前，自动检查必须验证其有效性。这确保了更新后的模型能够准确地检测欺诈交易，而不会产生高误报率或误报率。
AIS-07：应用程序脆弱性修复措施
- 背景：发现银行应用程序中的漏洞可能会产生重大影响，因此快速修复至关重要。
- 示例：如果“BankBot”中发现漏洞，在某些情况下会错误地泄露用户交易历史记录，则必须立即采取行动修补模型。此外，必须通知受影响的客户，并采取措施防止将来再次发生此类情况。
表2：AIS 控制及其在银行业生成式人工智能中的具体应用
|
控制ID |
控件标题 |
生成式人工智能在银行业的适用性 |
|
AIS-01 |
应用程序和接口安全策略和规程 |
对于银行聊天机器人来说，政策规定了谁可以训练模型、如何处理客户查询以及政策审查的频率。 |
|
AIS-02 |
应用程序安全基线需求 |
银行业使用的所有人工智能模型，从欺诈检测到投资建议，都必须满足最低加密标准以保护用户数据。 |
|
AIS-03 |
应用程序安全指标 |
贷款预测人工智能的指标可能包括贷款违约预测的准确性、未经授权的访问尝试或响应时间。 |
|
AIS-04 |
应用程序安全设计和安全开发 |
银行业的财务预测人工智能应该能够安全地处理敏感的财务数据，避免潜在的泄露。 |
|
AIS-05 |
自动化应用程序安全测试 |
自动化测试可确保处理银行查询的聊天机器人不会无意中共享帐户详细信息或交易历史记录。 |
|
AIS-06 |
自动化应用程序安全部署 |
在部署更新的欺诈检测模型之前，自动检查会验证它是否不会大量产生误报/漏报。 |
|
AIS-07 |
应用程序脆弱性修复措施 |
如果发现银行聊天机器人泄露用户信息，必须立即采取措施修补模型并通知受影响的客户。 |
表2简要概述了 AIS 控件及其在生成 AI 场景中的应用。
03
GenAI 的 AIS 域实施指南
AIS-01：应用程序和接口安全策略和规程
指南 1：政策应包括明确的角色和职责。
- 生成式人工智能应用：部署生成式人工智能模型时，应明确定义角色和职责。例如，某些团队成员可能负责模型训练，而其他成员则负责部署或监控输出。
指南 2：提供应用程序环境的描述。
- 生成式人工智能应用：记录生成式人工智能模型运行的环境至关重要。这可能包括它运行的硬件、与之交互的数据源以及任何第三方集成。
指南 3：强制执行定期审查流程。
- 生成式人工智能应用：鉴于人工智能的快速发展，定期审查模型的性能、输出和安全性至关重要。这可以确保模型随着时间的推移保持相关性、准确性和安全性。
AIS-02：应用程序安全基线需求
指南：基线要求至少应包括安全控制、加密标准和身份管理协议。
- 生成式人工智能应用程序：为网站生成文本内容的生成式人工智能模型应该具备基准安全措施。这包括确保输出被加密、对模型的访问经过身份验证以及遵守安全协议。
AIS-03：应用程序安全指标
指南：定义可行的指标时应考虑应用程序的类型及其重要性。
- 生成式人工智能应用：对于创作艺术的生成式人工智能模型，指标可以包括生成作品的独特性、用户参与率以及任何潜在的版权侵权。
AIS-04：应用程序安全设计和安全开发
指南：定义安全需求应该是开发生命周期的第一步。
- 生成式人工智能应用：在开发为用户生成个性化内容的模型之前，应建立数据隐私、内容过滤和用户同意等安全要求。
AIS-06：自动化应用程序安全部署
指南：策略应包括定义的安全检查、审批流程和监控。
- 生成式人工智能应用：在部署建议产品推荐的生成式人工智能模型时，应该进行自动检查以确保建议适当、模型更新的审批流程以及对模型输出的持续监控。
AIS-07：应用程序脆弱性修复措施
指南：应用程序安全修复应遵守既定策略，确保及时响应和缓解。
- 生成式人工智能应用：如果生成式人工智能聊天机器人开始产生不适当的响应，则应该有一个明确的流程来快速纠正模型、解决漏洞并在必要时通知受影响的用户。
04
需要潜在的新控制措施
|
控制ID |
控件标题 |
控制规格 |
|
AIS-08 |
生成内容监控和过滤 |
实施机制来监控人工智能模型生成的内容，包括过滤器以防止生成不适当、有害或有偏见的内容。 |
|
AIS-09 |
数据源真实性验证 |
确保生成式人工智能模型验证数据源的真实性，特别是在与第三方 API 集成时，以防止数据篡改或中毒。 |
|
AIS-10 |
速率限制和异常检测 |
对 AI 生成的 API 和其他系统请求实施速率限制。结合异常检测来识别表明恶意意图或系统故障的异常模式。 |
|
AIS-11 |
生成模型反馈循环 |
建立反馈机制，供用户或其他系统报告人工智能生成的内容中的问题或异常情况，促进模型的持续改进。 |
|
AIS-12 |
安全模型共享和部署 |
定义用于安全共享生成人工智能模型的协议，特别是在与外部系统或平台集成时，确保保留模型完整性。 |
|
AIS-13 |
生成决策的透明度 |
为用户或管理员提供了解生成式人工智能决策过程的机制，特别是在与应用程序或 API 交互时。 |
|
AIS-14 |
生成模型的 API 输入验证 |
通过验证和清理与生成 AI 模型交互的 API 的输入来增强安全性，以防止注入攻击或其他恶意操作。 |
本文是将 CSA CCM 安全域之一应用于生成式人工智能（GenAI）系统和应用程序的初步尝试。未来可以把相同的研究应用于 CCM 内的其他安全领域。
本文作者：Ken Huang（黄连金），云安全联盟大中华区研究院副院长
关注公众号，回复关键词“CCM”
获取《云控制矩阵 v4》（ 中英文版）
CSA标准参编单位招募
为促进AI安全领域的发展，云安全联盟大中华区组织编写标准《安全运营AI模型接口规范》（名称暂拟），希望通过梳理人工智能模型在安全运营场景的研究及应用实践，了解安全运营AI模型当前在中国的行业发展现状、厂商的落地方案以及客户的最佳实践，总结安全运营类产品与以安全运营为目标的AI模型交互的数据及接口规范。以此加快AI模型在安全运营场景的开发、兼容和部署，促进产业有序发展。有意向参与单位可联系CSA大中华区秘书处 叶女士 19925407556。
原文始发于微信公众号（国际云安全联盟CSA）：云安全黄金标准--云控制矩阵（CCM）用于GenAI安全评估的分析
- 左青龙
- 微信扫一扫
-
- 右白虎
- 微信扫一扫
-
评论