G.O.S.S.I.P 阅读推荐 2022-11-07 SpecPatch

admin 2022年11月9日11:13:57安全闲碎评论2 views2109字阅读7分1秒阅读模式
今天为大家推荐的是来自密歇根州立大学计算机系Qiben Yan老师研究团队投稿的关于语音识别攻击的最新研究SpecPatch: Human-in-the-Loop Adversarial Audio Spectrogram Patch Attack on Speech Recognition,该研究成果发表于CCS 2022。
G.O.S.S.I.P 阅读推荐 2022-11-07 SpecPatch
背景介绍
自动语音识别技术利用机器学习来识别用户的语音指令,近年来越来越受到人们的关注。科技公司大规模部署这项技术用以丰富人机互联的方式,提升交互的便捷性。例如:谷歌,亚马逊,IBM,微软都推出了基于自己模型的语音识别接口,供开发者使用。同时,一些智能语音助手如Google Home, Siri 等也都嵌入了这种技术为用户提供便捷的语音控制服务。然而,越来越多的研究发现,这类语音识别模型有很多潜在的风险,特别是受到恶意攻击后会执行有害的指令,从而导致隐私泄露、财产损失以及带来家庭安全隐患。在这项工作中,作者首次提出一种新型的攻击方式SpecPatch,通过在频谱上插入对抗性的补丁(Patch),从而攻击语音识别的AI模型。相较于先前的研究,SpecPatch工作的主要贡献和科研亮点是:通过对频谱的修改,实现了即使在用户在场时对语音识别模型的强效且持续的攻击
传统对抗攻击
对抗攻击通过添加微小的扰动来改变语音识别模型的输出。以往基于音频的对抗攻击会在原始音频中搜索和添加微弱的噪声,或者把噪声隐藏在环境中,从而使得语音识别模型误判出攻击者的命令。然而,当有用户出现在攻击场景时,几乎所有的对抗攻击都会在以下3种情境中失效。
1. 用户的干扰
G.O.S.S.I.P 阅读推荐 2022-11-07 SpecPatch
当用户和攻击者同时下达指令时,语音识别设备会倾向于听从用户的指令,使得攻击者的音频对抗样本受到用户指令的干扰,从而失效。
2. 用户的察觉
G.O.S.S.I.P 阅读推荐 2022-11-07 SpecPatch
当攻击者通过循环播放对抗音频例如歌曲来进行攻击时,由于攻击音频能被听到且是持续性的,用户会注意到这种声音来源并且试图找到声音的发出点,从而对攻击进行破坏。
3. 用户的交互
G.O.S.S.I.P 阅读推荐 2022-11-07 SpecPatch
当用户注意到自己的语音识别设备被异常启动或者操控时,可以通过下达新的指令来与语音识别设备进行交互,从而重新获得设备的控制权,因此来阻止攻击者的攻击企图。
SpecPatch攻击设计:
和以往基于音频的对抗攻击不同的是,SpecPatch通过给频谱添加补丁来进行攻击。如下图所示,通过在频谱上添加补丁,把原始音频的释义转换为攻击者的目标(红色字体)。
G.O.S.S.I.P 阅读推荐 2022-11-07 SpecPatch
基于频谱补丁的攻击方式有如下3个主要优点:
  1. 频谱的补丁适用于任何背景音频,使得这样的攻击具有普适性;
  2. 补丁长度短,频率范围可控,可以极大地降低被用户察觉的可能性;
  3. 补丁可以规避用户的交互指令,通过改变全局的释义来屏蔽用户的纠错指令,从而增强攻击的鲁棒性。

为了达到这样的攻击效果,作者采用了四种特别的设计。
1)通过尾部对齐的方式延长补丁的影响长度.
相对于直接设置目标标签,SpecPatch在生成补丁时会提供部分标签用于对齐原始标签,从而使优化的梯度更新集中在补丁范围内,从而延长补丁的影响长度。
G.O.S.S.I.P 阅读推荐 2022-11-07 SpecPatch
2)通过引入 “静音”补丁(”Mute”)来抵消用户的交互行为;
相较于在全局插入对抗扰动,“静音”补丁使扰动集中在特定周期的脉冲信号中,从而有效地影响整个窗口的输出,并且通过优化设计,尽可能减少插入的扰动数量,使用户难以察觉。
G.O.S.S.I.P 阅读推荐 2022-11-07 SpecPatch
3)通过优化补丁的频率和带宽降低用户的感知;
作者在优化目标中添加了受频率影响的用户感知函数,在生成对抗补丁的同时,抑制用户的感知程度。
4)通过遍历音素来提高补丁的鲁棒性。
SpecPatch评估与测试
作者在tensorflow上实现了SpecPatch,用来攻击DeepSpeech2模型。可视化的攻击效果如下:
G.O.S.S.I.P 阅读推荐 2022-11-07 SpecPatch
通过添加对抗性补丁,作者把“关闭窗户和窗帘”的命令改变为“打开门”。补丁的音量与背景噪声相仿,不容易被察觉。
作者还通过一系列实验验证了SpecPatch的以下特性:例如延长补丁的影响长度和鲁棒性:
G.O.S.S.I.P 阅读推荐 2022-11-07 SpecPatch
在此基础上,作者测试了SpecPatch在真实世界中的攻击表现:
通过播放SpecPatch生成的对抗样本,受攻击者的语音识别系统会改变识别结果以形成目标标签,或者导致用户的命令被错误识别。
G.O.S.S.I.P 阅读推荐 2022-11-07 SpecPatch


项目网站和演示视频:https://specpatch.github.io/
论文下载:https://specpatch.github.io/assets/paper.pdf

投稿团队介绍:
SEIT Lab (Secure and Intelligent Things Lab)
密歇根州立大学计算机系SEIT Lab 目前专注于物联网安全,人工智能,自动驾驶,分布式计算(区块链)安全领域的研究。实验室曾获得IEEE SECON 2021, ACM SenSys 2021 最佳论文奖,以及多项发明专利,最新研究成果多次被BBC,Scientific America, Forbes,新浪,腾讯科技等媒体广泛报道。目前招收2023春季秋季入学的研究生,提供全奖,免GRE,欢迎申请!
实验室主页:https://seit.egr.msu.edu/

原文始发于微信公众号(安全研究GoSSIP):G.O.S.S.I.P 阅读推荐 2022-11-07 SpecPatch

特别标注: 本站(CN-SEC.COM)所有文章仅供技术研究,若将其信息做其他用途,由用户承担全部法律及连带责任,本站不承担任何法律及连带责任,请遵守中华人民共和国安全法.
  • 我的微信
  • 微信扫一扫
  • weinxin
  • 我的微信公众号
  • 微信扫一扫
  • weinxin
admin
  • 本文由 发表于 2022年11月9日11:13:57
  • 转载请保留本文链接(CN-SEC中文网:感谢原作者辛苦付出):
                  G.O.S.S.I.P 阅读推荐 2022-11-07 SpecPatch http://cn-sec.com/archives/1399484.html

发表评论

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: