数据脱敏技术定义及实施过程解析

一、数据脱敏定义

数据脱敏是指对某些敏感信息通过脱敏规则进行数据的变形，实现敏感隐私数据的可靠保护。在涉及客户安全数据或者一些商业性敏感数据的情况下，在不违反系统规则条件下，对真实数据进行改造并提供测试使用，如身份证号、手机号、卡号、客户号等个人信息都需要进行数据脱敏。

二、发展历程

人工脱敏阶段：

多为SQL脚本方式，在ETL处理过程中进行脱敏，该方式工作量大、数据处理效率低，同时存在数据质量差、无法保证数据结构的完整性、数据间的关联性。

平台脱敏阶段：

融合了敏感数据自动发现、系统流程化脱敏、支持丰富数据源、脱敏算法库充足、敏感类型丰富等功能，从而减轻人工成本的同时提升效率， 保证数据脱敏的基本诉求。

自动脱敏阶段：

通过应用机器学习等技术，结合各类数据分类分级规则及已实际使用的数据脱敏策略及规则，实现自动化实时敏感数据发现、自动化脱敏规则匹配等智能化数据脱敏的结果。同时，具备分布式等多种部署支持，智能性能分析，自动化调优等能力。

三、关键技术能力

高仿真能力：保持数据原始业务特征保持数据之间的关联性保持数据之间逻辑一致性业务依赖数据对象同步

丰富数据源支持：

1. 关系型数据库支持

2. 大数据平台支持

3. 特殊文件类型支持

4. 消息列队支持

内置丰富脱敏规则：

1. 支持多种数据脱敏算法

2. 支持组合脱敏、自定义分组规则

3. 具备细粒度数据处理能力

   
   

高处理效率：

1. 单台设备性能最大化

2. 具备增量脱敏能力

3. 支持分布式部署

四、数据脱敏分类

五、脱敏算法

六、实施流程

即对生产系统中敏感数据的识别，主要包括：

存储位置：明确敏感数据所在的数据库、表、字段（列）；

数据分类、分级：明确敏感数据所属类别及敏感级别。

策略选择、算法配置：包括数据脱敏后保持原始特征的分析、数据脱敏算法的选择和数据脱敏算法参数配置：

1. 保持原始数据的格式、类型；

2. 保持原有数据之间的依存关系；

3. 保持引用完整性、统计特性、频率分布、唯一性、稳定性。

4. 配置需要脱敏的目标（数据库名/表名/字段名）以及适当的脱敏算法参数，根据业务需求完成其他算法的参数配置。

按不同需求选择，分为动态脱敏处理步骤和静态脱敏处理步骤：

1. 动态脱敏处理步骤：

• 协议解析：解析用户、应用访问大数据组件网络流量；

• 语法解析：对访问大数据组件的语句进行语法分析；

• 脱敏规则匹配：根据用户身份信息及要访问的数据；

• 下发脱敏任务：由脱敏引擎调度脱敏任务；

• 脱敏结果输出：将脱敏后的数据输出，保证原始数据的不可见。

2. 静态脱敏处理步骤：

• 数据选择/策略配置：选择待脱敏的数据库及表，配置脱敏策略及脱敏算法，生成脱敏任务；

• 执行脱敏处理：对不同类型数据进行处理，将数据中的敏感信息进行删除或隐藏；

• 数据导出：将脱敏后的数据按用户需求，装载至不同环境中，包括文件至文件，文件至数据库，数据库至数据库，数据库至文件等多种装载方式。

七、应用场景

开发测试场景中，如银行、证券等金融行业业务系统中含有姓名、身份、账号等敏感信息，开发测试需要使用仿真的数据，因此需要通过脱敏手段保证敏感数据不被泄露。

教学培训场景即对数据进行统计分析，以用于科学研究，该场景下需要保证数据特征，脱敏后保证科学研究所必须的内容。

数据分析的有效性往往依赖于基础数据的质量，基础数据的可用性直接影响分析结果和企业决策。在涉及到大数据分析应用的领域，企业需要在保证数据安全及合规的前提下，依旧能够保有数据的可用性及可挖掘分析的价值。

数据上报场景很可能涉及隐私敏感数据信息，在上报过程中需对敏感隐私数据进行匿名化处理。

现代企业对外合作日益增多，数据交换愈发频繁，需要合理管控数据外发，当敏感数据外发至低安全区域时，通过对数据进行脱敏变形，避免隐私数据泄露。

在业务系统对外提供服务时，通常面临客户群体通过账号即可访问真实数据的情况，一旦账户被仿冒登陆，显示真实信息、未对关键信息进行脱敏，会加大数据泄露的现象。

运维管理场景下需要对运维人员的操作及管理进行全面审计及访问控制，从而达到数据在维护时的安全呈现。

原文始发于微信公众号（数据安全治理技术）：数据脱敏技术定义及实施过程解析