AI大模型时代的信息安全:企业不可忽视的挑战

admin 2024年10月16日17:38:57评论49 views字数 2001阅读6分40秒阅读模式

短短几年,大模型如雨后春笋般涌现,成为新质生产力的最前沿。当所有目光集中在AI大模型最新的技术动态、产品质量、应用创新,以及可能带来的商业革命时,企业安全同样是AI技术及应用发展当中不容忽视的关键课题。正如20年前,我们打开每一个网页都害怕被病毒侵袭、被黑客攻击一样,在大模型飞速发展的现今,诸如数据安全问题、AI的可信度问题、隐私保护问题等等,都在冲撞着当前的网络信息及数据安全格局。

数据安全是AI大模型安全的核心。2023年9月三星电子允许部分半导体业务员工使用ChatGPT开始,短短20天有三起机密资料外泄事件,其中涉及大量敏感信息,包括未公开的产品设计和客户数据;数据安全公司Cyberhaven的一份调查显示,在员工直接发给ChatGPT的企业数据中,有11%是敏感数据,在某一周内,10万名员工给ChatGPT上传了199份机密文件、173份客户数据和159次源代码。企业用户在办公场景下使用公开的AI大模型工具时将公文、合同、纪要等重要文件内容上传的例子屡见不鲜,这不仅是企业AI应用侧安全防护策略不足,数据安全保障在AI领域不完善的原因,更是企业员工数据安全意识薄弱的直接体现。

AI大模型时代的信息安全:企业不可忽视的挑战

图片来源于网络

数据可信性决定AI大模型应用的准入基础。从ChatGPT推出的第一天起,到后来的谷歌Bard,再到国内的“文心一言”,以及阿里的“通义千问”,几乎都面临着AI“一本正经的胡说八道”的问题。仍然以ChatGPT举例,有网友让其推荐3家西湖区的新兴咖啡馆,ChatGPT正经地给出了名字、地址和介绍,但网友查询后却发现,压根没有这样三家咖啡店的存在;2024年9月,“三只羊卢某”网传录音事件中,一段音频被证实是通过AI大模型伪造的,这段录音引发了广泛的舆论关注,并对个人声誉和社会信任造成了负面影响。由于当前AI大模型训练主要基于互联网大数据积累,数据校准专业性难以充分保障,生成结果在此基础上缺乏权威性,在金融、医疗健康、教育、制造、商业等重要领域的应用需要极其慎重。

AI大模型时代的信息安全:企业不可忽视的挑战

图片来源于网络

用户隐私保护是AI大模型安全的重要底线。OpenAI曾报告称,早期由于Redis的开源库bug导致了ChatGPT发生故障和数据泄露,造成部分用户可以看见其他用户的个人信息和聊天查询内容。2024年初,某大型金融机构发现其基于AI的客户服务聊天机器人存在会话共享漏洞,攻击者能够劫持用户的会话,获取敏感信息并执行未经授权的操作。AI大模型可能泄露用户隐私的方式主要包括训练数据包含隐私信息,用户可能诱导模型生成包含隐私信息的内容,数据传输及存储泄露用户数据,模型逆向工程等方式。企业用户隐私的泄露可能涉及企业信息系统身份认证信息等,结合社会工程学将成为重要的网络攻击途径。

AI大模型在数据安全、用户隐私以及可信性方面的保障是一个综合性的挑战,需要从多个角度来考虑和实施解决方案:

1、数据安全

本地化部署:通过本地化部署AI模型,可以将所有数据处理保留在内部网络中,从而避免数据外泄的风险。

数据加密:采用数据加密技术,在数据传输和存储过程中保护敏感信息。

数据脱敏:在训练数据集时,对个人可识别信息(PII)进行脱敏处理,减少隐私泄露风险。

加密计算:通过技术如同态加密、安全多方计算等,确保数据在使用过程中保持加密状态,即使是在计算过程中也能保护数据隐私。

数据冗余保护:建立数据备份和恢复机制,确保在数据丢失或损坏时能够迅速恢复。

2、可信性

算法透明度:增强算法的透明度,使决策过程尽可能地公开透明,以增强用户信任。

公平性评估:对模型进行公平性测试,确保模型不会因种族、性别等因素产生偏差。

安全性验证:对模型进行安全性验证,包括但不限于对抗样本攻击的防护,以及模型鲁棒性的测试。

合规性检查:确保AI模型的设计和部署符合所在国家或地区的法律法规要求。

3、用户隐私

差分隐私:通过在训练数据中添加噪声,使得任何单一用户的贡献变得不可区分,从而保护用户隐私。

联邦学习:允许终端设备上的数据在本地进行模型训练,并只上传更新的模型权重而非实际数据,减少了数据集中存储的需求。

权限控制与访问审计:实施严格的访问控制机制,确保只有经过授权的人员才能访问敏感数据,并记录所有访问日志以供审计。 

透明度报告:提供透明度报告,让用户了解他们的数据是如何被使用的,并给予用户选择退出的权利。

4、法制保障

遵守法律法规:确保所有数据处理活动都遵循适用的数据保护法律,如《中华人民共和国网络安全法》、《个人信息保护法》等。

知识产权保护:在数据使用、模型训练和发布过程中,充分尊重并保护各方的知识产权。

5、安全意识培训

专项培训:在对员工进行的数据安全和个人信息保护的培训中,增加AI及大模型运行原理科普、安全事件案例分析、大模型应用安全培训等专项内容。

AI大模型时代的信息安全:企业不可忽视的挑战

文章作者|田伦

原文始发于微信公众号(EBCloud):AI大模型时代的信息安全:企业不可忽视的挑战

免责声明:文章中涉及的程序(方法)可能带有攻击性,仅供安全研究与教学之用,读者将其信息做其他用途,由读者承担全部法律及连带责任,本站不承担任何法律及连带责任;如有问题可邮件联系(建议使用企业邮箱或有效邮箱,避免邮件被拦截,联系方式见首页),望知悉。
  • 左青龙
  • 微信扫一扫
  • weinxin
  • 右白虎
  • 微信扫一扫
  • weinxin
admin
  • 本文由 发表于 2024年10月16日17:38:57
  • 转载请保留本文链接(CN-SEC中文网:感谢原作者辛苦付出):
                   AI大模型时代的信息安全:企业不可忽视的挑战https://cn-sec.com/archives/3276792.html
                  免责声明:文章中涉及的程序(方法)可能带有攻击性,仅供安全研究与教学之用,读者将其信息做其他用途,由读者承担全部法律及连带责任,本站不承担任何法律及连带责任;如有问题可邮件联系(建议使用企业邮箱或有效邮箱,避免邮件被拦截,联系方式见首页),望知悉.

发表评论

匿名网友 填写信息