诸子笔会2023 | 刘歆轶:通用人工智能生态架构与安全风险

admin 2023年12月14日20:51:21评论25 views字数 3130阅读10分26秒阅读模式

诸子笔会2023 | 刘歆轶:通用人工智能生态架构与安全风险


诸子笔会2023 | 刘歆轶:通用人工智能生态架构与安全风险


自2023年10月起,“诸子笔会2023第二季”正式拉开帷幕。10位专家作者组成新一届“笔友”,自拟每月主题,在诸子云知识星球做主题相关每日打卡,完成每月一篇原创。除了共同赢取万元高额奖金以外,我们更要聚焦甲方关注,发掘最佳实践,弘扬分享精神,实现名利双收。本期发文,即诸子笔会月度主题来稿之一。

诸子笔会2023 | 刘歆轶:通用人工智能生态架构与安全风险


通用人工智能生态架构与安全风险


     文 | 刘歆轶


诸子笔会2023 | 刘歆轶:通用人工智能生态架构与安全风险



刘歆轶

上海非夕机器人  信息安全总监

诸子笔会2023 | 刘歆轶:通用人工智能生态架构与安全风险



负责公司信息安全及数据合规工作。EXIN DPO,CISSP,CISA,CDPSE,PMP,前微软最有价值专家MVP。具有二十年以上的大型跨国企业信息化及信息安全规划、建设及运营管理经验;曾作为信息安全认证讲师,负责CISSP、CISA、CISP、ISO27001等课程的开发和讲授。


诸子笔会2023 | 刘歆轶:通用人工智能生态架构与安全风险


01
通用人工智能发展现状

诸子笔会2023 | 刘歆轶:通用人工智能生态架构与安全风险


从 20 世纪 50 年代,科学家们就开始了对人工智能的研究。现如今,随着计算机技术的飞速发展,加之大数据、机器学习、深度学习等技术的兴起,人工智能领域迎来了全面的发展。

通用人工智能(AGI),是人工智能的一个分支,也称为强人工智能或者深度人工智能,它是一种能够像人一样拥有智能,可以自主学习、推理和解决问题的系统。要实现AGI,则需要在平台搭建、数据获取、语料整理、算法设计、模型调优、内容输出及服务应用等各个方面,建立起一套完善的生态环境。


02
 通用人工智能的组成架构


通用人工智能的架构可以归纳为平台层、数据层、模型层和应用层


诸子笔会2023 | 刘歆轶:通用人工智能生态架构与安全风险



平台层


平台层是指用于支撑AGI的底层基础设施以及相关工具。通用人工智能的平台层通常包括计算平台、存储平台、开发工具、开发框架,以及相关API 和 SDK。这些平台可以是云端的,由云服务商提供,也可以是本地化的,或是混合的。

计算平台用于处理 AGI 模型训练和推理所需的计算任务,通常采用 GPU等进行计算;

存储平台用于存储训练数据、模型参数、日志和其他文件等;

开发工具和框架用于创建和管理 AGI 模型的代码和资源;

API和 SDK用于简化AGI 服务的集成和使用,可提供对 AGI 功能的访问界面。



数据层


数据层是指用于获取、存储和处理数据的技术和工具。数据层包括数据的获取、数据清洗、语料标注、数据分析等。

数据获取负责采用各种方式和渠道进行数据的采集,并确保获取到的数据的质量及多样性;

数据清洗是指对采集到的数据进行筛选、整合、去噪、归一化等处理;

语料标注是对数据特征进行标记,以提高 AGI 模型的学习效果;

数据分析是为了发现数据中的规律和趋势。



模型层


模型层是指用于解决各种问题的机器学习和深度学习的算法和模型,模型层通常由机器学习、深度学习、强化学习和自然语言处理组成。

机器学习用于处理结构化数据的模型,例如回归分析、决策树、支持向量机等;

深度学习用于处理非结构化数据的模型,例如图像、语音、文本等;

强化学习用于训练 AGI 模型进行智能决策的技术,例如棋类游戏、机器人控制等;

自然语言处理用于处理文本和语音的技术,例如文本分类、情感分析、机器翻译等。



应用层


应用层是最终服务于用户的层次,负责将通用人工智能的算法以及数据运用到实际解决问题的应用场景中,以更好地为用户提供实用和优质的智能服务。在实际应用中,通用人工智能可以涉及多个领域、多个垂直行业和不同的应用场景,并且随着智能技术自身的深化,其应用场景还将不断扩展。


诸子笔会2023 | 刘歆轶:通用人工智能生态架构与安全风险


03
通用人工智能生态参与方及安全风险


在整个通用人工智能系统中,平台层、数据层、模型层和应用层之间相互协作。

平台层提供计算资源和 AGI 库,帮助模型层快速训练和优化;数据层提供数据监控和清洗功能,确保模型层使用数据的质量和安全性;模型层提供各种 AGI 算法和模型实现,帮助应用层快速部署和使用;应用层根据业务需求和场景设计开发具有个性化特点的应用,并通过模型层为用户提供增加价值的功能。

各个层面的功能,可以分别由不同的提供方来提供服务,同时,各层面的提供方也对其提供的服务负有安全责任。


诸子笔会2023 | 刘歆轶:通用人工智能生态架构与安全风险



平台提供方安全风险



通用人工智能平台基础设施主要由计算服务、存储服务、网络服务、容器服务等底层服务组成。跟其他领域关键信息基础设施类似,通用人工智能平台提供方同样需要对物理攻击、网络攻击、计算环境被篡改和运维安全等各种安全风险负责。

诸子笔会2023 | 刘歆轶:通用人工智能生态架构与安全风险


(1)物理攻击方面。常见的风险比如IDC机房未经授权的物理访问,设备硬件被破坏、篡改、禁用、窃取等;


(2)网络攻击方面。针对通信网络的攻击,如窃听、劫持、DDoS 攻击等风险;


(3)计算环境的安全风险。系统自身存在安全漏洞导致的系统入侵、攻击者注入后门、木马等恶意程序,将导致整个系统面临严重的安全风险。

此外,通用人工智能系统是一个极度依赖算力的系统,如果因运维管理、变更管理不完善从而导致的SLA服务水平低,也将影响人工智能系统本身的服务性能。




模型提供方安全风险



通用人工智能模型层主要包括各种算法与技术框架,以及各种由该层提供的应用服务。模型层面临的主要安全风险有模型鲁棒性、算法可解释性、歧视和偏见、模型滥用等。

诸子笔会2023 | 刘歆轶:通用人工智能生态架构与安全风险


(1)模型的鲁棒性要求大模型有抗干扰、应对异常场景的能力,对于异常或者微小扰动的输入样本,能持续做出稳定、准确的判断与决策;


(2)算法的可解释性差将导致过程难解释、事件难追溯,算法的输入与输出之间存在人类难以理解的因果关系、逻辑关系,只能被动接受由模型给出的结果;


(3)算法的偏见性导致系统做出带有歧视或偏见的决策,甚至对网络空间意识形态造成冲击;


(4)模型滥用误用、恶意使用的风险,例如大数据杀熟、基于深度伪造的电信诈骗等时有发生,日益显著地威胁到社会、企业、人身、网络空间安全。




数据提供方安全风险



除了常规的数据存储及传输过程中因管理不善导致的数据泄露风险外,AGI数据层由于其自身的数据规模性、算法复杂性等原因,还面临着新型的数据风险。

(1)训练数据泄露风险

比如攻击者通过大量输入请求之后得到了大量模型输出,从而逆向还原模型功能,达到窃取模型或者训练数据的目的;或者攻击者通过推断攻击或差分攻击,进而判断某个个体的数据是否存在于某个医疗诊断模型的数据训练集中,从而进一步推断该个体的隐私信息。这些算法模型、训练数据的泄露都将大大削弱企业大模型自身的商业竞争力;

(2)用户数据泄露风险

大模型在训练过程中采集大量且多样性的用户数据,但未遵循最小化原则,例如采集用户的手机号、姓名、性别、身份证号码等个人信息以及操作记录、消费记录等行为信息,这些个人隐私信息都有可能被恶意用户或攻击者窃取;

(3)训练数据滥用的合规风险

机构在训练模型时,由于员工缺乏数据安全意识、员工本人含有特定价值倾向等原因,滥用误用低质量、不完整的数据对模型进行训练,都会导致大模型输出不良信息、不符合社会主流价值观的信息等,从而引起有关机构注意,面临监管处罚或者应用下架的风险。




应用提供方安全风险



应用层是基于人工智能底层服务提供的 API,以实现在各种实际场景下的落地。应用提供方在开发具体应用时,除了面临着供应链攻击的风险外,也面临自身应用安全架构不合理、应用层漏洞以及各种合规风险。




通用人工智能服务用户方



用户方通过使用通用人工智能技术来解决各种实际问题,包括自然语言处理、图像识别、机器视觉、文本分类、预测模型等。用户通过这些需求,与通用人工智能生态圈的其他参与方持续协作,推动通用人工智能技术应用的发展。


诸子笔会2023 | 刘歆轶:通用人工智能生态架构与安全风险

总而言之,在通用人工智能应用领域,只有以上AGI生态圈中的各个参与方担负起相应的安全责任,明确各自的安全风险,积极采取管理和技术措施加以应对,将安全风险降低到可控范围之内;同时各参与方之间相互协作,相互监督,才能使得通用人工智能系统发挥它的作用,为人类带来更大的价值。

诸子笔会2023 | 刘歆轶:通用人工智能生态架构与安全风险


原文始发于微信公众号(安在):诸子笔会2023 | 刘歆轶:通用人工智能生态架构与安全风险

  • 左青龙
  • 微信扫一扫
  • weinxin
  • 右白虎
  • 微信扫一扫
  • weinxin
admin
  • 本文由 发表于 2023年12月14日20:51:21
  • 转载请保留本文链接(CN-SEC中文网:感谢原作者辛苦付出):
                   诸子笔会2023 | 刘歆轶:通用人工智能生态架构与安全风险https://cn-sec.com/archives/2300516.html

发表评论

匿名网友 填写信息