从欧盟《人工智能法》提案看我国如何应对人工智能带来的社会风险和法律挑战

  • A+
所属分类:云安全
从欧盟《人工智能法》提案看我国如何应对人工智能带来的社会风险和法律挑战

点击上方蓝字 关注我们

从欧盟《人工智能法》提案看我国如何应对人工智能带来的社会风险和法律挑战

2021年4月21日,欧盟委员会发布了首个欧洲人工智能法律框架提案《人工智能法》,对人工智能的应用进行规范和限制。提案建立了人工智能技术的统一规则,进一步强化欧盟对人工智能的应用、投资和创新,旨在将欧洲变成全球可信赖的人工智能中心,保障公众隐私安全和基本权利。目前我国人工智能发展侧重技术创新、平台布局、产业培育等方面,但在法律规范、监管体系、标准框架等方面较为欠缺,未来建议重点从加强人工智能立法、建立人工智能监管和评估体系、加快制定人工智能领域相关标准和加强国际交流合作等四方面发力,以应对人工智能技术引发的社会风险和法律挑战。

一、欧盟《人工智能法》提案核心举措

划分四类人工智能应用场景风险等级。提案采取总体审慎、考虑风险的原则,按照人工智能技术可能带来的风险高低,将人工智能应用场景分为“极小、有限、高、不可接受”四类风险等级,等级越高的应用场景受到的限制越严格。

不可接受的风险:对公民安全、日常生活和基本权利构成明显威胁的人工智能系统,予以明令禁止。包括公共机构出于一般目的进行基于人工智能系统的社交评分,以及操纵人类行为以规避用户自由意愿的人工智能技术或应用,如使用智能语音辅助的玩具鼓励未成年人从事危险行为。

高风险:重点包括八大领域的人工智能应用:产品安全组件,关键基础设施如道路交通、水、气、电力供应等管理和运营,教育或职业培训,就业、工人管理和自营职业中的使用,公共服务如评估自然人信用评分,涉权型执法,移民领域包括移民、庇护和边境控制管理,司法和民主程序。特别是所有远程生物辨识系统都被视为高风险人工智能系统。高风险人工智能系统在投放市场前,需接受风险管理、数据集提供、记录保存、必要信息提供、透明度审查、人为监督、准确性与安全性等七方面管控约束。

有限的风险:包含透明公开义务的人工智能系统。当用户使用该类系统时,能够意识到其本身正在与机器进行交互,即可在用户知情的情况下做出相应的决定。如聊天机器人的使用。

极小的风险:如允许自由使用人工智能电子游戏或垃圾邮件过滤器等应用,绝大多数人工智能系统都属于此类风险。提案认为该类人工智能系统对公民权利或安全产生的风险极小,对此类风险不作干预。

支持监管创新举措。提案指出人工智能作为快速发展的技术,需要新颖的监管形式和安全的试验空间。提案鼓励国家主管部门设立人工智能监管沙箱,并在治理、监督和责任等方面设定了基本框架。人工智能监管沙箱建立了安全可控的环境,可根据与主管部门达成的测试计划在有限的时间内测试创新技术,以确保新上市的人工智能系统符合本法规以及其他相关的欧盟和成员国法规。此外,为促进和保护创新,提案特别考虑人工智能中小企业和初创企业,制定针对性措施满足小规模提供商的特殊利益和需求。

建立联盟和国家层面治理体系。为促进该法规顺利实施,在联盟层面,设立欧洲人工智能委员会,通过推动国家监管机构和委员会开展有效合作,促进本法规顺利实施。委员会将推动发布人工智能技术发展的相关意见和建议,积极收集并推广共享成员国之间的典型实践做法,进一步推动人工智能技术规范和相关标准实施。在国家层面,会员国必须指定一个或多个国家主管部门,包括国家监督机构,监督该法规的实施。

二、我国人工智能发展存在的问题

法律法规不健全。人工智能发展的不确定性可能带来安全风险挑战,冲击法律与社会伦理、侵犯个人隐私、挑战国际关系准则等问题。目前由于缺乏对人工智能潜在风险的认识,人工智能相关的法律研究较为匮乏。人工智能相关的法律规制散落在《民法总则》、《电子商务法》、《数据安全法》、《网络安全法》等法律法规中,尚未形成体系完善的人工智能法律法规,与人工智能相关的刑事责任、产权归属、信息安全、隐私保护等方面法律问题亟待进一步完善,人工智能法律相关的责任制度、主体权利、义务规范等方面还未进行规范。同时由于上位法尚未出台,人工智能场景化立法步伐也相对滞后。亟需针对当前新技术和新业态发展,出台专门针对人工智能的法律法规。

监管体系较为欠缺。当前我国人工智能技术研发和应用发展迅速,对社会生活各个领域产生了广泛深入的影响。但是监管较为滞后,主要表现为:一是政府监管制度不完善。人工智能监管政府部门涉及网信办、工信部、科技部以及质监部门等单位,各监管部门尚没有对人工智能监管的具体职权进行划分,缺乏必要的监管制度。此外,我国尚未形成专门针对人工智能各环节进行监管的制度体系,不具备对人工智能研发过程进行全流程监管的能力。二是现行政策对人工智能技术的监管规定较为笼统。监管滞后于技术发展,现行的监管政策未涉及对技术滥用等方面的规制。如基于人工智能的数据深度挖掘导致数据资源滥用,诸如“大数据杀熟”,同样的商品、服务,却被网络平台“看人下菜碟”,导致消费者的知情权、公平交易权等严重受损,社会负面影响巨大,但目前针对“大数据杀熟”监管存在着概念不清、操作困难等问题,未形成成熟有效的监管举措。此外,“ZAO”等人工智能软件引发的“深度伪造”换脸事件,监管举措还处于探索阶段。三是尚未实施分级分类监管。正如欧盟《人工智能法》提案所述,不同应用场景的人工智能可能带来的风险不尽相同,等级越高的应用场景应受到较为严格的管理,因此分类监管意义重大。但在我国人工智能监管中,尚未依据不同应用场景实施分级分类监管,监管精准化水平有待进一步提升。四是缺乏人工智能领域评估机制。针对人工智能自身及应用存在的潜在危害性尚未开展相关的评估评价工作,未能实现对新智能产品和算法的经济、社会影响做出全面评价和动态监测。

标准化工作有待进一步完善。一是人工智能标准顶层设计有待加强。我国人工智能标准化工作起步较晚,基础较为薄弱,尚未形成完善的标准体系。二是重点急需标准研制和试验验证有待强化。围绕基础、数据、模型与算法、产品和服务、风险管理、可信赖等方面等重点急需标准有待健全。三是针对重点行业和领域的技术标准较为欠缺。制造、交通、金融、安防、家居、养老、环保、教育、医疗健康、司法等重点行业和领域人工智能相关标准有待进一步推进。四是国际交流合作不足。目前我国实质性参与国际标准制定的程度较低,已参与的大都并非核心标准,参与国际标准化活动的能力与发达国家相比还有较大差距。

三、发展建议

加强人工智能立法。推进人工智能相关法律制度建设,打造人工智能规则新高地,为人工智能发展提供公平、高效、透明的制度供给。一是加强人工智能相关法律问题研究。聚焦立法前沿,开展与人工智能应用相关的民事与刑事责任确认、信息安全利用等法律问题研究。在可能引发人工智能不可预知性和不确定性的技术领域,立法设立红区或研发限制规范,从法律底线构建“安全防火墙”。二是加快推进人工智能相关立法工作。借鉴美国、欧盟等国在人工智能领域的立法经验,制定符合我国人工智能产业发展需要、体现我国社会特征的人工智能法律制度框架。明确人工智能产品伦理审查、算法设计、数据采集、产品开发、产业促进等法律规范,以及人工智能发展中涉及的个人隐私、知识产权保护、数据安全等问题。三是完善人工智能相关部门规章。针对各领域关键突出人工智能安全风险,结合人工智能在不同领域的应用特点,制定和细化部门规章,提出对所属领域人工智能算法设计、产品应用等方面的安全要求。

建立人工智能监管和评估体系。一是建立健全人工智能监管机制。成立国家人工智能领导小组,指导、协调各监管部门在人工智能领域的监管工作,实施设计问责和应用监督并重的双层监管结构,建立从人工智能研发到应用的全流程闭环监管,推动形成包容审慎的监管政策。建立产业界-学术界-监管机构联动研判机制,共享技术力量和成果,提高人工智能监管水平。积极探索针对人工智能的“监管沙盒”制度,以监管创新推动产业创新。二是开展人工智能分类监管。探索针对不同行业领域和应用场景按照影响范围、可能危害程度等方面开展不同等级分类监管,推动监管工作精准施策。当风险等级较高的事件突发时立即对其发展动向和不良影响进行研判、评估和预防,并及时向社会发布预警信息。在金融、安防、司法等领域,注重特定风险防范,持续提升监管精细化、精准化水平。三是构建人工智能动态评估评价体系。围绕人工智能基础软硬件、服务平台、产品和应用的风险性、潜在危害性等方面进行定期评估。开展评估指标体系研究,探索建设跨领域人工智能测试平台,完善人工智能全领域评估测试能力。

加快制定人工智能领域相关标准。一是加强人工智能标准框架体系研究。加快重点标准研制和试验验证,完善人工智能基础共性、算法模型、技术平台、行业应用、信息安全、隐私保护等技术标准,推动制造、交通、金融、安防、教育、医疗、司法等细分应用领域的行业协会和联盟制定相关标准,提升人工智能标准化工作的科学性、全面性、系统性和预见性。在国家标准研制与实施过程中,进一步吸纳行业产学研用机构的积极参与,提高标准质量。二是积极参与或主导制定国际标准。组织国内企业、科研院所等多方力量加强研究储备,在ISO/IEC、IEEE、ITU等国际标准化组织中联合发声,实质性参与和主导人工智能相关国际标准工作,推动基础术语、参考框架、关键技术、支撑平台、产品与服务等标准的制定与推广,推进我国人工智能国际标准化进程。

强国际交流合作。人工智能带来的风险具有全球性特征,深化人工智能领域国际合作意义重大。一是建立常态化国际合作交流机制。充分利用双边、多边国际合作机制,支持国内外高校、科研机构、企业和行业组织广泛开展合作,多渠道、多方式推动重大国际共性问题解决,推动构建人工智能国际合作框架,形成共建、共治、共享的合作模式。二是积极参与人工智能全球治理。加强机器人异化和安全监管等人工智能重大国际共性问题研究,深化在人工智能法律法规、伦理道德、安全风险、国际规则等方面的合作,主动搭建人工智能制度建设、国际规制等全球合作平台,共同应对全球性挑战。

作者:赛迪工业和信息化研究院 王婧


从欧盟《人工智能法》提案看我国如何应对人工智能带来的社会风险和法律挑战

本文始发于微信公众号(网络安全和信息化):从欧盟《人工智能法》提案看我国如何应对人工智能带来的社会风险和法律挑战

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: