深度分析 | 关于个保法语境下算法自动化决策的合规治理（上）——含义与联系

自动化决策、用户画像、算法由于相互之间复杂、交叉的关联关系，常常造成数据处理者对其理解与合规管理上的混淆，但这组概念是已经被《个人信息保护法》《互联网信息服务算法推荐管理规定》等法规标准明确规范的数据处理活动，受到监管部门的高度关注并引入了备案、评估等监管手段，企业把算法自动化决策用于精准营销、生成合成、检索过滤、推荐排序、生产调度等场景将面临日益高企的合规风险。因此，厘清自动化决策、用户画像和算法的含义与边界，掌握法律对相关概念的规制，明确企业应尽的义务与合规措施，对于指导我们做好算法自动化决策的合规治理具有积极的指导意义。

01

自动化决策、用户画像、算法的含义

（一）个保法语境下三者的含义

自动化决策：2020年实施的国标《个人信息安全规范》第一次明确了“自动决策机制”的定义：“个人信息控制者业务运营所使用的信息系统，具备自动决策机制且能对个人信息主体权益造成显著影响的（例如，自动决定个人征信及贷款额度，或用于面试人员的自动化筛选等）”。2021年11月1日施行的《个人信息保护法》中，自动化决策（通过计算机程序自动分析、评估个人的行为习惯、兴趣爱好或者经济、健康、信用状况等，并进行决策的活动）与《个人信息安全规范》中的“自动决策机制”略有不同，个保法对自动化决策的定义删除了“对数据主体造成显著影响”的表述，更接近于将用户画像运用于个性化推荐或精准营销，更在意消费者权益公平公正的问题，这与立法时间以及两者关注的法益不同有关。

用户画像：《个人信息安全规范》中还明确了“用户画像”的含义，指“通过收集、汇聚、分析个人信息，对某特定自然人个人特征，如职业、经济、健康、 教育、个人喜好、信用、行为等方面作出分析或预测，形成其个人特征模型的过程。”与自动化决策相比，用户画像更强调个人特征模型的形成这一过程。《规范》中还将用户画像划分为直接用户画像与间接用户画像，直接使用特定自然人的个人信息，形成该自然人的特征模型，称为直接用户画像；使用来源于特定自然人以外的个人信息，如其所在群体的数据，形成该自然人的特征模型，称为间接用户画像。为准确评价个人信用状况，可使用直接用户画像，而用于推送商业广告目的时，则宜使用间接用户画像。

算法：我国法规没有针对“算法”明确的定义，不过，我们通常所说的算法主要是《互联网信息服务算法推荐管理规定》中所说的“算法推荐”，该法规中将涉及用户权益的算法推荐类型明确为利用生成合成类、个性化推送类、排序精选类、检索过滤类、调度决策类等算法技术向用户提供信息。

（二）通过典型场景来认识用户画像、自动化决策与算法

某智能网联汽车企业自动收集驾驶者数据，确定司机驾驶危险等级的用户画像，进一步按照驾驶危险等级自动化上浮30%实施下一年度商业险收费。这个案例中，我们可以清晰地捕捉到用户画像与自动化决策的过程，而算法则像背后的幽灵，贯穿数据处理活动始终：数据处理者使用了挖掘算法采集到用户的原始数据，使用分类、聚类、相似度算法统计分析形成事实标签，然后使用推荐算法、机器学习等算法建模分析形成模型标签，通过预测算法模型形成预测标签，最终支撑自动化决策的实施。通过对典型场景的分析，我们一定程度揭示了三者的定位与关系，即用户画像和自动化决策偏向于业务场景，算法则作为底层的计算过程支撑这个业务需求的实现。

（三）个保法语境下三者的关系

2021年8月13日第十三届全国人大常委会第三十次会议记者会上，全国人大常委会法工委发言人臧铁伟表示：“自动化决策，包括用户画像、算法推荐等。应当在充分告知个人信息处理相关事项的前提下取得个人同意，不得以个人不同意为由拒绝提供产品或者服务。不得通过自动化决策对个人在交易价格等交易条件上实行不合理的差别待遇。要求个人信息处理者通过自动化决策方式向个人进行信息推送、商业营销，应当同时提供不针对其个人特征的选项，或者向个人提供拒绝的方式。”可以看出，从个人信息保护立法者的初衷，自动化决策包括了用户画像与算法推荐。明确这个关系对我们进行算法备案、个人信息保护影响评估工作有了基本的指引。

同时，通过对典型案例的研究可以看出，个保法语境下的自动化决策排除了非个人特征分析场景下的机器决策行为，且不是所有算法都是支撑自动化决策的，如深度合成、排序等算法就不属于自动化决策范畴；算法本质上是算法模型在代码技术层面的拆分，自动化决策则是一项业务，可能由N个算法共同决定一个自动化决策，自动化决策是业务导向，更偏向场景和业务，算法是底层更加精细的运算模块和训练模型；将采集到的数据进行统计和分析形成用户画像，自动化决策的算法也可以帮助形成用户画像。因此，如何评价自动化决策本质上是法律标准，但是如何解释自动化决策的实现（算法）是技术问题。实践上，企业可能没有专门区分自动化决策和算法的关系，可能统一将算法作为自动化决策来管理，但从标准和合规角度我们有必要进一步理顺其关系。

（四）算法的风险与监管目标

普遍认为算法本身没有好坏之分，却切实带来了很多风险，主要体现在算法所进行的自动化决策活动最终会作用到用户身上，影响着用户的权益，因此算法的威胁来源于对算法的使用方式，如外卖系统中设计者将节约时间作为参数，则深度学习后算法会不断将时间水分挤出（参数决定输出）、如微软聊天机器人Tay上线第一天就学会了脏话和种族歧视（输入决定输出）。由于这些特征以及设计者的偏见，导致算法已经带来了许多风险，包括算法歧视、算法操纵、算法共谋、算法归化，也由此引发了算法垄断、信息茧房、回声效应和大数据杀熟等，甚至由深度合成算法带来科技伦理、网络诈骗等风险。算法支撑自动化决策的实施，可能在个人信息收集、处理过程中侵犯用户个人权利，包括用户的知情权、选择权，影响公平公正，对舆论引导、网站秩序、社会安全等造成影响。算法带来风险根本上在于其背后设计者的思想，可见规制算法自动化决策的核心在于规制构建算法的人，保障输入的数据、使用的算法模型以及所要解决的问题等的合规性。相比直接管理不可控的人的思想，选择对算法这种“思想的外化”进行监管，显然更加具有可操作性。关注算法的“模型”“参数”“输入”等核心，可以一定程度解开算法黑箱。

（本文作者：卫士通信息产业股份有限公司 张戈、望娅露）

CCIA数据安全工作委员会单位介绍

卫士通信息产业股份有限公司，1998年成立，是国内知名的密码和网络安全产品提供商、高安全信息系统集成商，也是中国电子科技集团有限公司旗下网络安全板块的核心资本平台和重要产业平台。公司聚焦网络空间安全主业，践行“护航数字中国、守卫智慧社会”的企业使命，致力于成为以密码为核心的数据智能安全服务商。

原文始发于微信公众号（CCIA数据安全工作委员会）：深度分析 | 关于个保法语境下算法自动化决策的合规治理（上）——含义与联系