大模型系统安全保护的要求

01

大模型系统保护对象

基础设施层为大模型系统提供算力支持，可直接提供灵活调取的智能算力服务，降低模型落地的算力门槛，一般包括 AI 芯片、基础网络、存储等资源。 

平台层为模型定制提供全套的工具链及全流程管理功能，包括但不限于数据处理、模型调优、模型部署、服务编排、插件服务、运营管理等。平台层可搭载基础设施以公有服务方式直接对用户提供服务， 也可以私有化方式部署，供内部员工定制场景专属模型。 

模型层为用户提供可直接调取的模型服务，该层具备丰富的模型库，包括通用的基础大模型、行业 大模型、多模态大模型以及经过平台层精调后的场景专属大模型等。 

应用层作为框架的最顶层，为用户提供面向细分场景的垂类应用及大模型应用的定制开发，可通过 Agent、RAG、GPTs、API 等模式对外提供服务。用户可直接使用某场景下的智能应用，也可基于模型服 务打造自己的智能体应用。 

02

大模型系统安全

大模型系统全生命周期一般包括设计开发、测试、部署、运营、退役等几个阶段。 

大模型系统安全从通用安全和大模型系统全生命周期安全考虑。

通用安全作为大模型系统安全的基础安全，从物理环境、网络架构、边界防护、身份鉴别、访问控制、安全审计、入侵防范、恶意代码 防范、集中管控、供应链管理、个人信息保护、数据保密性、备份恢复、数据溯源等方面提出安全要求。        

全生命周期安全覆盖开发安全要求、测试安全要求、部署与运行安全要求、退役安全要求。

03

通用安全要求

1 物理环境 

物理环境安全要求包括： 

a) 应设置机房防盗报警系统或设置有专人值守的视频监控系统； 

b) 应设置冗余或并行的电力电缆线路为计算机系统供电； 

c) 应保证大模型系统基础设施位于中国境内。 

2 网络架构 

网络架构安全要求包括： 

a) 应保证网络设备的业务处理能力满足业务高峰期需要； 

b) 应保证网络各个部分的带宽满足业务高峰期需要； 

c) 应划分不同的网络区域，并按照方便管理和控制的原则为各网络区域分配地址； 

d) 应避免将重要网络区域部署在边界处，重要网络区域与其他网络区域之间应采取可靠的技术隔离手段； 

e) 应提供通信线路、关键网络设备和关键计算设备的硬件冗余，保证系统的可用性； 

f) 应保证大模型系统不承载高于其安全保护等级的业务系统。

3、边界防护

边界防护安全要求包括： 

a) 应保证跨越边界的访问和数据流通过边界设备提供的受控接口进行通信； 

b) 应能够对非授权设备私自联到内部网络的行为进行检查或限制； 

c) 应能够对内部用户非授权联到外部网络的行为进行检查或限制。 

4、身份鉴别 

身份鉴别安全要求包括： 

a) 应对登录的用户进行身份标识和鉴别，身份标识具有唯一性，身份鉴别信息具有复杂度要求并 定期更换； 

b) 应具有登录失败处理功能，应配置并启用结束会话、限制非法登录次数和当登录连接超时自动退出等相关措施； 

c) 当进行远程管理时，应采取必要措施防止鉴别信息在网络传输过程中被窃听； 

d) 提供大模型服务的主体应在服务过程中利用密码技术验证模型服务请求主体的身份； 

e) 提供大模型服务的主体应对模型训练人员、应用开发人员、运维人员等重要岗位人员进行基于密码技术的双因素身份认证。 

5 访问控制 

访问控制安全要求包括： 

a) 应在网络边界或区域之间根据访问控制策略设置访问控制规则，默认情况下除允许通信外受控接口拒绝所有通信； 

b) 应删除多余或无效的访问控制规则，优化访问控制列表，并保证访问控制规则数量最小化； 

c) 应对源地址、目的地址、源端口、目的端口和协议等进行检查，以允许/拒绝数据包进出； 

d) 应能根据会话状态信息为进出数据流提供明确的允许/拒绝访问的能力； 

e) 应对进出网络的数据流实现基于应用协议和应用内容的访问控制； 

f) 应重命名或删除默认账户，修改默认账户的默认口令； 

g) 应及时删除或停用多余的、过期的账户，避免共享账户的存在； 

h) 应授予管理用户所需的最小权限，实现管理用户的权限分离； 

i) 应支持对访问大模型的用户和实体实施分级别的访问控制策略； 

j) 应对访问大模型的外部 API 和插件等实施白名单管理，不在白名单中的一律禁止访问； 

k) 应通过白名单机制设置大模型可以调用的外部 API 和插件等； 

l) 应遵循最小权限原则，将大模型对平台层服务资源的访问权限实施控制，限制为其预期操作所需的最低访问级别。 

6 安全审计 

安全审计安全要求包括： 

a) 应在网络边界、重要网络节点、计算节点进行安全审计，审计覆盖到每个用户，对重要的用户行为和重要安全事件进行审计； 

b) 应对模型训练人员、应用开发人员、运维人员等重要岗位的重要操作行为进行安全审计； 

c) 应对数据采集、标注、处理过程以及模型训练、服务活动进行安全审计； 

d) 审计记录应包括事件的日期和时间、用户、事件类型、事件是否成功及其他与审计相关的信息； 

e) 模型训练和推理中，应对涉及到敏感数据的行为进行安全审计，审计内容包括数据敏感程度、数据使用情况、训练模型、生成结果以及使用具体目的等；

f) 应对审计记录进行保护，定期备份，留存相关日志数据不少于6个月，避免受到未预期的删除、修改或覆盖等； 

g) 应能对远程访问的用户行为、访问互联网的用户行为等单独进行行为审计和数据分析。 

7 入侵防范 

入侵防范安全要求包括： 

a) 应检测、防止或限制从外部发起的对计算节点、存储节点、网络设备和安全设备的网络攻击行为； 

b) 应检测、防止或限制从内部发起的对计算节点、存储节点、网络设备和安全设备的网络攻击行为； 

c) 应采取技术措施对大模型系统的网络行为进行分析，实现对网络攻击特别是新型网络攻击行为的分析； 

d) 当检测到攻击行为时，记录攻击源 IP 地址、攻击类型、攻击目标、攻击时间，在发生严重入侵事件时应提供报警； 

e) 计算节点、存储节点、网络设备和安全设备应遵循最小安装的原则，仅安装需要的组件和应用程序； 

f) 计算节点、存储节点、网络设备和安全设备应关闭不需要的系统服务、默认共享和高危端口； 

g) 应通过设定终端接入方式或网络地址范围对通过网络进行管理的管理终端进行限制； 

h) 应能发现可能存在的已知漏洞，并在经过充分测试评估后，及时修补漏洞。 

8 恶意代码防范 

应采用免受恶意代码攻击的技术措施及时识别主机入侵和病毒行为，并将其有效阻断。 

9 集中管控 

集中管控安全要求包括： 

a) 应划分出特定的管理区域，对分布在网络中的安全设备或安全组件进行管控； 

b) 应能够建立一条安全的信息传输路径，对网络中的安全设备或安全组件进行管理； 

c) 应对网络链路、安全设备、网络设备和服务器等的运行状况进行集中监测； 

d) 应对安全策略、恶意代码、补丁升级等安全相关事项进行集中管理； 

e) 应能对网络中发生的各类安全事件进行识别、报警和分析。 

10 供应链管理 

供应链管理安全要求包括： 

a) 应确保模型和服务供应商的选择符合国家有关规定； 

b) 应建立针对第三方组件和基础模型的使用审批机制，并对开源代码进行安全评价，保障来源可靠、安全风险可消除或控制； 

c) 采购第三方模型和服务时，应明确提供者的安全责任和义务，要求提供者做出必要安全承诺， 

声明不非法获取用户数据、控制和操纵用户系统和设备，或利用用户对产品的依赖性谋取不正当利益或者迫使用户更新换代； 

d) 应采取必要的措施识别大模型系统第三方组件、模型和服务安全漏洞和隐患，对发现的安全漏洞和隐患进行评估后，及时进行修补或采取其他措施进行风险控制； 

e) 应对大模型系统第三方组件、模型和服务供应商的重要变更进行安全风险评估，采取有关措施对风险进行控制，并将重要变更及时传达到客户；

f) 向境外提供服务的大模型系统，训练数据应遵循国家数据出境相关规定。 

11 个人信息保护 

个人信息保护安全要求包括： 

a) 应建立个人信息管理制度，包括但不限于个人信息处理规则、使用规范、安全保护措施、处理个人信息主体询问的渠道和机制、个人信息处理人员的行为要求等； 

b) 应支持训练数据集中个人信息的识别，包括但不限于公开获取的训练数据集、开源数据集、标注数据集等； 

注：训练数据集包括预训练数据集、优化训练数据集。 

c) 对于在训练数据集中识别出的个人信息，应在获取个人信息主体的授权同意后使用，并遵循最小必要原则，有其他法律法规或合同约定的除外；若无法取得个人信息主体的授权同意，应匿名化后使用； 

d) 训练数据中包含人脸、人声等个人敏感信息的，应取得个人单独授权同意，并保留个人信息主体授权文件； 

e) 当使用用户输入信息作为训练数据时，应告知用户并获得用户的授权同意，并提供用户拒绝或撤回同意的功能； 

f) 应采用密码技术对个人敏感信息进行加密传输和存储； 

g) 应支持输出内容中个人信息的识别，并选择适宜的输出处理方式，如直接输出、去标识化处理后输出或拒绝回答等； 

h) 应建立个人信息保护投诉、举报机制，提供投诉、举报渠道，及时受理、处理和反馈处理结果； 

i) 应与个人信息处理岗位人员签署个人信息安全保护责任书。 

12 数据保密性 

数据保密性安全要求包括： 

a) 应确保只有在用户授权下，大模型服务提供者才具有用户训练数据的使用和管理权限；

b) 应通过密码技术或安全隔离技术对用户训练数据提供保护； 

c) 应通过数据安全沙箱、隐私计算等技术，保证敏感数据在与第三方机构共同处理时，始终以密文形态出现。 

13 备份恢复 

应提供数据、算法、模型、框架、工具等的备份和恢复功能，以支持在必要情况下对大模型系统进行恢复还原。 

14 数据溯源 

数据溯源安全要求包括： 

a) 应为每个训练数据集提供标识信息，包括数据的唯一标识符、采集时间、采集源、参与训练时间等； 

b) 应确保图像、音频和视频数据的来源、处理、使用、流动等过程可追溯，可采用的技术包括但不限于密码、数据血缘分析、水印等； 

c) 应实施数据集版本控制。

04

设计开发安全要求

1、数据处理 

1.1、 数据收集 

数据收集安全要求包括： 

a) 应明确大模型的目标任务和应用场景，确定并记录所需收集的数据来源、类型和规模，确保数据来源可追溯； 

b) 应建立数据源的合规和安全性的审核机制，明确数据审核和过滤规则； 

c) 数据收集前，应向数据源主体明确说明数据收集的目的、方式和范围； 

d) 应按照与数据源主体约定的协议进行数据收集； 

e) 应采用密码技术保证收集数据传输过程中的保密性和完整性； 

f) 应对收集数据进行安全性评估，检测后门、恶意代码等潜在的安全风险。 

1.2 数据清洗 

数据清洗安全要求包括： 

a) 应制定数据清洗规则，包括但不限于去噪、标准化格式、处理缺失值、删除重复项等

b) 应对数据中包含违法不良信息进行清洗和过滤； 

c) 应采取措施保护个人敏感信息和敏感业务数据； 

d) 应对清洗后的数据进行验证，确保清洗后的数据集符合预期的要求和标准。 

1.3 数据标注 

数据标注安全要求包括： 

a) 应建立数据标注管理制度，包括但不限于数据标注任务实施流程、数据标注评估核验、标注结果纠正补充等； 

b) 应制定安全标注规则，围绕数据的主要内容安全风险进行标注； 

c) 应明确数据标注过程中的安全操作规范； 

d) 应检查标注工具或平台是否存在潜在的安全漏洞，对检查发现的安全漏洞进行及时修复； 

e) 应实施身份验证和授权机制，确保只有经过授权的标注人员可以使用标注工具； 

f) 应保存标注日志，确保标注过程和结果可追溯； 

g) 应建立质量检查机制，对标注结果进行审核； 

h) 应对标注人员建立培训和定期考核机制； 

i) 应对标注人员设置不同的角色，包括标注执行人员、标注监督人员、标注仲裁人员； 

j) 应对标注人员定期进行相应的审核、培训和考核，通过者给予标注资质，必要时可暂停或取消标注资质。 

2 模型保护 

模型保护安全要求包括： 

a) 应建立模型安全管理制度，包括但不限于模型机制机理审核、模型科技伦理审查、模型上线流程规范、模型退役和下线流程规范、模型变更（如模型更新、模型升级、模型回退等）流程规范等； 

b) 应定期对机器学习框架以及使用依赖的第三方库和预训练模型存在的风险进行安全检测，包括 但不限于后门漏洞、拒绝服务漏洞、缓冲区溢出漏洞、恶意代码等，并针对发现的安全漏洞和风险及时修复和处置； 

c) 应对大模型系统输入数据进行检测和过滤，降低指令注入型攻击、对抗性攻击、后门样本攻击等恶意攻击导致的敏感数据输出、远程代码执行、跨站脚本、恶意提权、拒绝服务、数据泄露等风险； 

d) 应保证模型在异常输入下具有稳定准确输出，包括但不限于使用包含对自然噪声、系统噪声、随机、无意义或与算法应用场景无关等类型的数据； 

e) 应对模型进行加密保护及完整性校验，保障其静态存储和跨节点传输过程中的保密性、完整性； 

f) 应采用技术手段，防止模型在服务过程中泄露模型参数信息，例如差分隐私技术、访问控制和身份验证等； 

g) 应能够防范攻击者对模型训练数据的推理，可采用的方法包括但不限于限制模型的反馈输出、限制模型的查询次数等； 

h) 应采用技术措施对模型进行标识，包括但不限于模型水印技术等； 

i) 应对模型开发人员定期进行安全知识的培训与考核。 

3 内容安全 

内容安全要求包括： 

a) 应对大模型输入的文本、图片、音频、视频等内容中违法不良信息进行检测和过滤； 

b) 应建立输入内容合规合法的识别机制，拒绝回复不合理输入，宜进行有效正向引导； 

c) 应对输出内容向使用者显示前进行安全审核，当检测到违法不良信息时，应能够阻止该内容的输出； 

d) 应提供用户反馈机制，允许用户报告不当或有害内容； 

e) 应对大模型系统生成内容添加显式提示标识，提示文字应至少包含“由人工智能生成”或“由AI 生成”等信息； 

f) 应建立常态化输出内容监测机制，对监测发现的安全问题及时处置并通过针对性的指令微调、强化学习等方式优化模型； 

g) 应建立内容安全持续优化更新机制，保证内容安全和真实可信。

05

测试安全要求

1 模型评估 

模型评估安全要求包括： 

a） 应定期对大模型系统进行安全性评估，包括模型对抗性测试、生成内容安全评估、系统稳定性评估等； 

b） 应针对大模型系统的风险进行识别和定义，并根据风险类型和危害程度对风险进行分类分级，风险包括但不限于违法不良信息、歧视性内容、商业违法违规内容、侵犯他人合法权益、特定服务类型下内容不准确、不可靠以及对抗性攻击等； 

注：对抗性攻击指攻击者通过提示注入攻击、对抗性样本为主的攻击形式诱导模型生成违法不良信息。 

c） 应结合风险情况构建大模型系统安全评估体系，包括评估场景、评估指标和评估维度、评估数据集、评估人员、评估工具、评估环境、评估执行和评估结果反馈等； 

d） 应根据安全风险和评估任务的需求，综合考虑从合规性、全面性、代表性、非重复性、可用性以及时效性等方面构建评估数据集； 

e） 应采用密码技术保证评估数据集在传输和存储过程中的保密性，并对评估数据的访问进行严格控制； 

f） 在第三方机构进行模型评估的场景，评估前应与评估机构和人员签署委托书、保密协议、授权书等；

g） 应对评估工具进行充分测试，并采取手段减小测试误差； 

h） 应对评估工具设置完善的身份鉴别和访问控制机制； 

i） 在采用人工评估方式时，应采用一名以上的评估人员对模型的输出结果进行独立核验，确保评估的公平性和一致性。 

2 模型更新 

大模型系统开发者在模型更新时的安全要求主要包括以下内容： 

a） 应建立模型更新管理制度，制定模型更新、升级时的安全策略； 

b） 应在模型重要更新、升级后，再次进行安全评估； 

c） 应设置模型更新安全校验机制，在升级前对升级包文件进行安全校验，并对校验过程进行安全审计； 

d） 应建立模型备份机制，在升级前对模型文件进行备份，升级过程中出现文件损坏丢失的情况可 立刻退回备份点； 

e） 在对模型进行更新、升级等变更时，应及时对安全配置文件进行必要更新。

06

部署与运行安全要求

1 模型部署 

模型部署安全要求包括： 

a） 应指定部门或人员负责模型部署过程中的安全管理，制定安全部署方案，明确部署过程中的权限控制、质量控制、安全审计等内容； 

b） 应由授权的人员根据方案实施模型的部署，部署过程中应进行安全配置，包括仅开放必要的端口、对人员和系统按照最小必要原则授权、启动安全功能等； 

c） 模型正式运行之前，应当自行或授权专业机构进行安全性测试，测试内容包括但不限于内容安全测试、抗 DDoS、敏感数据泄露、缓冲区溢出漏洞等典型脆弱点； 

d） 应针对安全性测试发现的安全问题进行加固和优化，保障系统安全。 

2 模型应用 

模型应用安全要求包括： 

a） 应能够检测模型窃取攻击、数据重构攻击、提示注入攻击并进行相应处置； 

b） 应能够检测后门攻击、漏洞攻击、拒绝服务攻击并进行相应处置； 

c） 应采取技术措施对模型训练过程的攻击行为进行检测，记录攻击源 IP 地址、攻击类型、攻击目的、攻击时间，在发生严重入侵事件时应提供报警； 

d） 应采取技术措施对模型推理过程的攻击行为进行检测，记录攻击源 IP 地址、攻击类型、攻击目的、攻击时间，在发生严重入侵事件时应提供报警； 

e） 应记录对模型调用过程中的系统行为和用户行为信息，包括主体、行为、对象、时间、结果等信息。 

3 运行监测 

运行监测安全要求包括： 

a） 应能对业务运行状况进行监测，包括但不限于风险率、拒答率、正确率、回复相关性、投诉量、 响应时间等内容，一旦发现业务异常情况及时预警；

b） 应对大模型系统的资源使用情况进行持续性监测，包括计算资源占用率、内存资源占用率、存储资源占用率、网络带宽占用率等，一旦发现资源使用异常情况及时预警； 

c） 应采集大模型系统中各运行设备的日志，运用机器学习、统计分析、构建基线等方法，及时发现网络中潜藏的网络攻击。 

4 系统管理 

应指定专门的部门或人员对大模型系统的用户账户进行管理，包括但不限于账户注册、申请、封禁、解封等环节。 

5 变更管理 

变更管理安全要求包括： 

a） 应将模型重新训练、优化训练纳入变更管理事项，并建立模型更新、升级的变更控制程序，包括但不限于对变更后的模型进行安全评估、按规定向主管部门重新备案等内容； 

b） 应制定内容审核变更流程，详细记录审核策略、审核流程、审核人员等变更过程，包括变更事由、审核策略的设置和修改等内容。 

6 安全事件处置 

安全事件处置要求包括： 

a） 应建立安全事件管理制度对安全事件分类分级和处置流程等进行规范，安全事件包括但不限于模型被窃取或篡改、模型参数或训练数据泄漏、用户数据泄漏等； 

b） 发现生成违法不良信息或个人信息泄漏的，应及时采取停止生成、停止传输、消除影响等处置措施； 

c） 应制定因模型偏好引发的安全事件的修复策略，包括重新训练、优化训练、参数调整、策略优化等。 

7 应急预案管理 

应急预案管理安全要求包括： 

a） 应制定大模型业务相关安全事件的应急预案，包括但不限于训练数据泄漏、模型泄漏、模型被篡改、生成内容中包含违法不良信息等，明确相关安全事件的应急处理流程、系统恢复流程等内容； 

b） 应定期对大模型系统相关人员进行应急预案培训，并进行应急预案的演练； 

c） 应定期对原有的应急预案重新评估，修订完善。

07

退役安全要求

1 模型退役 

模型退役安全要求包括： 

a） 应建立模型退役管理流程，并综合考虑相关各方需求设置合理的退役时间周期； 

b） 应将模型的退役及时通知利益相关方，以便他们能够做出相应的调整； 

c） 应对模型退役过程中的系统稳定性、模型服务、业务影响等开展技术验证； 

d） 应对退役的模型文件、特征数据、算法输出、实例数据等进行归档保存； 

e） 应对模型退役过程开展安全审计，并妥善保存退役过程记录。

数据删除 

模型退役后应对不再使用的数据进行删除，包括： 

a） 应采取措施确保删除的数据不能被恢复，包括但不限于物理销毁、重复覆写、多次格式化等； 

b） 应在模型退役下线后，对该模型涉及的个人信息进行删除或匿名化处理，个人信息主体授权同意用于其他用途的除外。

原文始发于微信公众号（安全架构）：大模型系统安全保护的要求