如何对抗神一样的人工智能

admin 2022年9月3日11:31:25评论25 views字数 3260阅读10分52秒阅读模式

今天的文章与旧文有关,相关旧文导读

安全对人工智能的需求 — 从机器学习到机器创造

对深度学习的降维攻击 — 人工智能系统数据流中的安全风险

深度学习框架中的魔鬼——探究人工智能系统中的安全问题


你为什么要和人工智能对着干? 你们安全人员为什么不能拥抱人工智能? 能不能不吓唬人?


我们发布深度学习系统中的威胁和攻击演示后,这是一个出乎意料,但又常被问到的问题。


当时我脑海闪过的是电影《终结者 I》中的场景:莎拉康纳被凶猛的T800追杀。施瓦辛格扮演的T800 智能机器人不仅仅有人脸识别技术,还有地图和大数据信息,而且还基本上打不死。 这是人工智能追杀人类的经典例子。 在电影世界里,康纳需要对抗人工智能(The Terminator),甚至复制人都需要抵抗智能的银翼杀手(BladeRunner  对抗人工智能一直是我们对未来生活想象的一部分,而且一直是正义的需求。


PR打过几次交道的我,决定先把回答咽到肚子里。 


这个问题需要写文字来回答。 


如何对抗神一样的人工智能


1. 为什么要对抗人工智能


关于为什么要研究人工智能系统里的安全问题,我们在 ISC 2017 大会的时候给过一个冠冕堂皇的回答 —— “因为黑产在用人工智能  


当深度学习作为一种日益大众化的技术手段,对技术采用的门槛自然会降低,所以人工智能技术不仅仅可以推动自动驾驶,人脸识别,也可以被用来刷帖和破解图片验证码,甚至会被用来收集特定目标信息,精准钓鱼攻击用户,包括你和我。 对行之有效的技术,黑产肯花钱,而且往往出的价钱超过互联网公司对相应技术的投入。 攻防有太多的不对称,这里不再赘述。


用个极端的例子,比如用无人机带着微型炸药来追杀你,它有你过去的行踪轨迹,并会在引爆之前对目标进行人脸识别。 要不要对抗? 这不是科幻,这是2017年已经被展示过的现实。

如何对抗神一样的人工智能

当你被人工智能追杀的是时候,对抗人工智能是生存的需求。从这个角度看,在网络空间中,安全人员研究人工智能的安全问题是名正言顺的,


2. 对抗人工智能的另一个原因


聊完科幻之后,我们看看现实。 如果你被杀人无人机吓到的话,现实其实并没有那么可怕。

如何对抗神一样的人工智能

作为一个安全人员,我看到的情况挺拧巴的。 


一方面我们总听到神一样的深度学习算法,它催发了大量新型应用,从人脸识别到自动驾驶。 各种应用, 从手机登录到移动支付,谁家不添加一个人工智能功能,谁好像就被留在石器时代了。 


另一方面,安全圈里经常看到的是类似某平台人脸识别惊现重大漏洞这样的新闻,或者安全人员用两张纸就可以绕过人脸识别登录, 还有用胶带和导电笔可以破解指纹识别的。 360团队的例子安全人员可以让著名的图片识别程序把羊的图片认成狼,或者把狼认成羊。 被测试目标程序使用的是谷歌团队的深度学习模型加上 ImageNet 中最强大的数据! 

如何对抗神一样的人工智能

在这个矛盾的世界里,当深度学习浪潮让众多年轻人冲到人工智能这块工地上搬砖的时候,我觉得安全研究人员有义务提醒大家:别忘带安全帽。 人工智能技术也许可以把一个应用加速建成一座美妙的楼阁, 但安全也是应用的一个基石,否则高空作业的同学可能需要配备降落伞。 


所以研究对抗人工智能技术也是研究一种保护手段,避免一个顶着人工智能光环的应用被用户轻易愚弄。


3. 风险的源头


为什么会出现智能系统很弱智地被轻易破解或绕过? 难道我们不应该拥抱深度学习引领的这场技术革命吗?


说一个自己的亲身经历: 最近有机会和一个顶级人工智能专家交流顶级是指在ImageNet夺冠N次这个级别的人工智能专家。 当我们展示用降维攻击导致深度学习系统识别出错的时候,人工智能专家立刻反应说:这不是我们人工智能的错 同样,当我们告知一个著名深度学习框架作者,框架的数据处理层有bug,  因为没有对一个库调用做返回值检查, 回答是:这个库应该确保返回值正常,不是我们的错


作为搞安全的老司机,这些回答我不吃惊,而且听起来特别熟悉。


你跟一个搞数据库的讲说他们的软件有SQL注入漏洞,回答往往是 — “这不是我们搞数据库的问题 你跟一个服务端开发人员说他写的软件有控制流劫持漏洞,回答是 — “我们客户端(浏览器)做了输入限制,你提供的输入是不可能的,这不是我们的错。 


安全人员听着耳熟吧? 回答没毛病。  


可是安全漏洞摆在那里,非要到展示PoC 到黑产窃取了用户信息被曝光之后才是毛病?


用两张纸就可以绕过的人脸识别没毛病吗?如果自动驾驶是在这种氛围里开发的,我们该不该上车?


一个算法在实验环境中,在众多假设条件下有精彩的结果当然是好事情。 但做一个被广大用户所使用的应用会遇到很多挑战。 所以在新的应用发布的时候,请不要只看到搞图像语音识别的同学在前台意气风发,大谈人工智能; 你很可能需要抚慰一下在后面灰着脸搭系统和做实现的同学。


4. 如何对抗人工智能


回答了为什么做反人工智能研究,接下来是更复杂的问题如何对抗人工智能。 如果看看2017年的媒体报道,人工智能就如神一样的存在。 弱点在哪里呢?


先从著名的例子开刀。你怎么对抗AlphaGo,这是一位业界领袖丢给我的一个问题。 AlphaGo碾压人类棋手,如果追杀你的无人机有AlphaGo级别的人工智能,你怎么应对?

如何对抗神一样的人工智能

如果你作为读者看到这里,仍然把人工智能算法想成神?那在 AlphaGo 面前,你只有束手就擒!


AlphaGo有自己的弱点。


你不信吗? 这个在 AlphaGo 团队的采访里就有答案。 


在与李世石对决的比赛里,作为”AlphaGo手臂的黄士杰最担心的就是自己投错子。 之所以我们无法对抗人工智能,是因为我们的讨论是把它放在一个抽象的环境中,输入和输出都是完美的。如果说黄士杰可以被攻击的话,比如让他看错棋盘落错子,AlphaGo就不再是坚不可摧。 


讲到这里,我学生的反应是,李康老师,你这个不算。哪里有下棋攻击人的 。。。


不可以吗? 


海豚音攻击针对的是智能语音系统的麦克风,对特斯拉的第一个攻击是让摄像头致盲,发射欺骗信号给毫米波雷达。安全世界里这样的攻击数不胜数。 


神一样的深度学习要求所有输入都符合一定格式,如果这样可以号称人工智能,那么当杀人无人机在头顶盘旋的时候,对它的传感器,摄像头进行对抗攻击不应该很合理吗?

如何对抗神一样的人工智能


5. 对抗人工智能的方法是把它从神坛上请下来


对抗人工智能的方法是将它从神坛上请下来,给它赋予任何实际应用所需要的血肉之躯。对于人工智能来讲,就是要考虑全系统,包括数据采集,传感器实现,数据处理,以及软件如何与用户打交道等每一个环节。


当我们不再把人工智能应用看成一个抽象的算法,而是作为一个系统来看,我们才能全面讨论它的安全威胁,以及对抗人工智能的方法。这里我只简单介绍几个深度学习算法之外的威胁。


除了刚才提到的对输入输出子系统的攻击,或者对传感器的攻击,还有对系统软件供应链的攻击,包括模型的来源,软件开发环境的安全,机器学习培训数据的安全,数据流处理过程的安全。 参考最近爆出的CPU漏洞,系统硬件的设计实现,以及硬件供应链,任何一个环节都可能引入安全风险。


研究这些风险,从防守的角度,就是如何排除这些风险,从而保护人工智能系统,比如确保自动驾驶系统的安全。 从攻击的角度,就是如何对抗人工智能,例如如何规避无人机的追踪。 在这个后者的角度,人工智能系统越强大,对规避和对抗研究的需求就越强。 


施瓦辛格样子的T800 今天也许仍然是想象,但好像离我们也不太远。  


如何对抗神一样的人工智能


参考文献


1 某支付平台人脸识别惊现重大漏洞  http://www.mpaypass.com.cn/news/201801/16203343.html

2 对深度学习的降维攻击 http://www.360zhijia.com/360anquanke/341007.html

3 用隐形眼镜和打印机破解三星虹膜识别 https://www.leiphone.com/news/201705/oPlrziXF35KBDNkU.html

4】两张A4纸破解虹膜人脸识别 http://www.sohu.com/a/200560466_99938933





原文始发于微信公众号(CTF黑客呓语):如何对抗神一样的人工智能

  • 左青龙
  • 微信扫一扫
  • weinxin
  • 右白虎
  • 微信扫一扫
  • weinxin
admin
  • 本文由 发表于 2022年9月3日11:31:25
  • 转载请保留本文链接(CN-SEC中文网:感谢原作者辛苦付出):
                   如何对抗神一样的人工智能http://cn-sec.com/archives/1113812.html

发表评论

匿名网友 填写信息