触摸屏攻击：一种新型的安全威胁

随着配备有触摸屏的消费电子设备在日常生活和工作中的广泛普及，其安全性问题逐渐引起人们的关注。为了更好地保障用户的信息安全和隐私权益，对触摸屏攻击的深入研究显得至关重要。

触摸屏攻击的成因大致如下：

1.技术缺陷：触摸屏设备的设计和制造过程中存在一些技术缺陷，导致例如漏洞、恶意软件等攻击行为的发生。

2.用户行为：用户在使用设备的过程中，存在一些不良习惯，例如使用弱密码等，增加信息被窃取的风险。

3.攻击者攻击：攻击者通过欺骗、诱导等方式，诱使用户进行不当操作，或者通过一些特殊的技术手段实时提取用户的输入信息，从而获取设备中的敏感信息。

本文重点关注最后一种触摸屏攻击的成因，主要分为两种类型：一种是基于电磁信号的攻击，另一种是基于声信号的攻击。本文将对这两种类型的攻击进行深入研究，并系统地归纳和总结相关文献，明确未来研究方向并给出相应建议。 

目前，基于电磁信号的触摸屏攻击主要集中于主动攻击方面的研究，本文对触摸屏的相关知识进行梳理，并分别对命令注入和命令取消两类攻击的相关研究进行分析。

1. 电容式触摸屏相关知识

在现有的触摸屏传感技术中，电容式触摸屏凭借其体验好、性价比高等优势，得到广泛的应用。在基于电磁信号的触摸屏攻击的研究中，均基于电容式触摸屏的工作原理进行分析。

电容式触摸屏是一种输入设备，手指触摸屏幕时，手指与触摸屏表面形成耦合电容，根据电容的变化ΔC来检测触摸事件的发生。目前广泛使用的电容式触摸屏有两种：自电容触摸屏和互电容触摸屏，如图1所示，触摸传感器由相互垂直的发射（TX）和接收（RX）电极网络组成。

图1 电容式触摸屏

自电容触摸屏利用单个电极自身的电容，一端连接到激励信号，另一端接地，自电容指电极对地的电容，手指触碰时会增加一个手指对地的电容，两者是并联关系。单点触摸时，先扫描TX，找到电容变化处，确定触摸位置的横坐标；再扫描RX，确定触摸点的纵坐标，据此得到触摸位置详细坐标。多点触摸时，可以分别得到多个不同的横纵坐标，组合会产生多个符合坐标条件的点，无法确定真实触摸点，即产生“ghost touch”。自电容触摸屏的结构原理简单，扫描速度快，但其测量的是单个电极电容而不是电极交叉点的电容，导致其无法正确侦测多点触摸。

互电容触摸屏是利用TX和RX的电极交叉处形成的耦合电容，横向电极作为耦合电容的上极板，纵向电极作为耦合电容的下极板。扫描时，激活某一行TX电极后，依次扫描每一列RX电极，检测全部RX电极与该行TX电极形成的耦合电容。手指触摸后，电容产生变化，控制器处理电容的变化量来提取计算触碰点坐标，变化量大于一定值（称为阈值）的位点才认为发生有效触摸。互电容触摸屏可以实现多点触摸的检测，但结构较复杂，功耗较大，扫描时间较长，且抗噪能力不如自电容。

2. 基于电磁信号的触摸屏攻击相关文献

针对电容式触摸屏攻击的研究主要分为两大类：被动触摸屏攻击与主动触摸屏攻击。其中，被动攻击通常通过电磁泄漏从受害者触摸屏中提取私人信息，主动攻击主要对受害者设备进行恶意控制。本节选取了三篇近年来针对主动触摸屏攻击的文献进行了梳理分析。

文献[1]是一种基于同步与扫描的IEMI触摸屏注入攻击，该研究利用的互电容扫描驱动方法在前文中已经进行描述，首先通过对12款不同品牌、不同型号的手机进行实验，来研究EMI注入的可能性，通过Android Debug Bridge（ADB）这一应用记录不同手机的接触点分布和电容变化，实现结果的可视化。接着，利用大量实验，探索解决有效注入假触点和创建可触摸事件这两个挑战的条件。最后，通过一系列评价指标对攻击系统进行评估。

文献[2]介绍一种不依赖同步与扫描的IEMI触摸屏注入攻击，该文献对互电容触摸屏中电荷转移（QT）传感器的工作原理进行分析，从而推导出解决同步限制的条件，即输出电压变化量大于阈值电压，以及IEMI攻击下触摸屏的相应电路模型，对E场强和IEMI信号的频率这两个影响触摸屏幕攻击的因素进行验证，后续以理想的方式进行实验演示，并对影响IEMI攻击性能的特性进行实验分析。

文献[3]提出了一种新的攻击，通过劫持用户的操作来完全控制受害者设备，通过设计的IEMI信号产生反向电流来中和用户的触摸命令，使真正的触摸命令取消。除了这种基本的拒绝服务攻击，还实现了目标取消攻击，可以在不干扰无关操作的情况下抵消目标命令。同时，建立电磁模型来分析IEMI对触摸屏的影响，得出可以取消用户命令的反向电流值，从有效抵消、屏幕定位、可控取消、分集影响抑制四个方面来进行攻击的设计，并通过装置原型的实验对攻击性能进行评价。

图2 KeyListener系统架构

推断击键信息的具体实现过程如图3所示。当受害者击键时，攻击者可以根据声信号衰减方程获得两个传播距离，这些信号从扬声器传播，然后被受害人的击键手指反射，最后传播到两个麦克风。给定扬声器以及智能手机上两个麦克风的相对位置，我们可以确定击键手指与两个麦克风间的距离，通过计算，可以获得一个唯一的有效交点，即击键位置，但实际只能定位到击键的一个区域，而不能定位到一个精确的点。

图3 推断击键信息的具体实现过程

2. 手势输入攻击

触摸屏的使用中，用户除了利用键盘击键输入以外，还存在用手势输入的情况，即用户将手指放在单词的第一个字母上，然后将手指拖动到单词中的每个后续字母，直到到达最后一个字母，此时手指被移除，手势被处理为单词数据。文献[6]从手势键盘输入发出的触觉反馈机制中捕获音频信号，并执行分类以识别已输入设备的文本，即利用手势输入的触觉反馈实现触摸屏的攻击，此种反馈通常被实现为马达振动。

在本节中，我们对两种不同类型的触摸屏攻击进行文献回顾，并深入比较这些文献研究的特点。

1. 基于电磁信号的触摸屏攻击

文献[1]用大量的实验代替数学建模与理论推导，依赖同步与扫描机制，第一次提出了一种针对电容触摸屏的非接触式EMI攻击，核心思想是利用电磁信号干扰触摸屏的电容测量。由于实验过程使用Android Debug Bridge（ADB）这个应用进行可视化分析，故仅对Android系统的手机进行分析，同时对很多实验结果缺少理论解释。

文献[2]将电容式触摸屏的工作原理与辐射IEMI电场强度与信号频率结合起来，克服文献[1]中技术对同步的依赖，精准地注入触摸事件，从而实现攻击。

基于电磁信号的触摸屏攻击的三篇相关文献都是针对触摸屏的主动攻击的研究，文献[1]和[2]所述的两种攻击类型实现了能够远程分配假触点位置的目标攻击，但用户始终可以通过触摸屏，保持对设备的绝对控制，即相应的事件会出现在用户的屏幕，一旦发现异常，用户可以立马终止，无法控制用户的操作，也就是说，现有的针对触摸屏主动攻击，有效性有限。

基于此，文献[3]深入探索触摸屏上的IEMI机制，提出了一种新的可以有效且有针对性控制命令取消的IEMI攻击，且应用场景的假设考虑了受害者设备面朝上或朝下放置的两种情况。

将以上文献归纳总结，各文献创新点与不足之处如表[1]所示，系统基本性能如表[2]所示，并对桌面厚度这一影响攻击效果的因素做了详细的对比，如图[4]、图[5]和图[6]所示。

表1 文献创新点与不足之处对比图

图4 文献[1]中不同桌面厚度对注入速度的影响

图5 文献[2]中不同桌面厚度对攻击成功率的影响

图6 文献[3]中不同桌面厚度下的CCR

2. 基于声信号的触摸屏攻击

文献[4]中的研究表明，声学特征在实际条件下具有较高的准确性，并且可以在不同位置和方向上有效地区分用户输入，但声学特征受到输入物理分离的限制，在较小的输入区域界面上的准确性会降低。

文献[5]中，实现了一种针对触摸屏虚拟键盘的间接击键窃听攻击，不需要直接从受害者设备获取击键相关的侧信道信息，具有多种优点：

• 攻击场景不受 Wi-Fi 基础设施覆盖范围的限制，但该攻击具有较多的限制；

• 使用单个单词的字典进行击键推断，不同单词的击键推理准确率是相互独立的；

• 对各种环境都具有鲁棒性，不需要额外的基础设施。

  同时，该攻击的实现过程中也存在较多的限制因素：

• 位置关系：攻击者的智能手机中轴线与受害者的智能手机中轴线需要平行，且识别准确性受攻击者和受害者智能手机之间相对位置的影响；

• 人为因素：实验结果表明，当受害者有意阻止其他人在触摸屏上看到输入情况时，击键推断准确率会大幅下降；只适用于使用QWERTY虚拟键盘的用户，无法对使用T9键盘、手势键盘的用户设备进行攻击；

• 攻击距离：当攻击者与受害者智能手机距离增大时，准确率大幅下降。

研究表明，由于手势型单词中的停顿点和重定向点不同，不同单词的键入方式存在差异。基于此，文献[6]提出了一个新的攻击向量，利用手势键盘捕获声信号对受害者设备进行攻击，但实验中设备多样性和样本多样性较差，仅使用了Moto G5S Plus（XT1803）和三星Galaxy S10e两台设备与20个句子样本，实验不够全面。同时，该攻击方式的效果受设备的位置、用户的打字风格和指甲长度等特征的影响。

[1] Wang, Kai, Richard Mitev, Chen Yan, Xiaoyu Ji, Ahmad-Reza Sadeghi and Wenyuan Xu. “GhostTouch: Targeted Attacks on Touchscreens without Physical Touch.” in Proceedings of USENIX Security, 2022.

[2] H. Shan, B. Zhang, Z. Zhan, D. Sullivan, S. Wang, and Y. Jin, “Invisible finger: Practical electromagnetic interference attack on touchscreen-based electronic devices,” in Proceedings of IEEE S&P, San Francisco, CA, USA, 2022, pp. 1246-1262, doi: 10.1109/SP46214.2022.9833718.

[3] M. Gao et al., "Expelliarmus: Command Cancellation Attacks on Smartphones using Electromagnetic Interference," IEEE INFOCOM 2023-IEEE Conference on Computer Communications, 2023.

[4] K. R. Teo, B. T. Balamurali, C. J. Ming and J. Zhou, "Retrieving Input from Touch Interfaces via Acoustic Emanations," 2021 IEEE Conference on Dependable and Secure Computing (DSC), Aizuwakamatsu, Fukushima, Japan, 2021, pp. 1-8, doi: 10.1109/DSC49826.2021.9346271.

[5] J. Yu, L. Lu, Y. Chen, Y. Zhu and L. Kong, "An Indirect Eavesdropping Attack of Keystrokes on Touch Screen through Acoustic Sensing," in IEEE Transactions on Mobile Computing, vol. 20, no. 2, pp. 337-351, 1 Feb. 2021, doi: 10.1109/TMC.2019.2947468.

[6] J. Francis Roscoe and M. Smith-Creasey, "Acoustic Emanation of Haptics as a Side-Channel for Gesture-Typing Attacks," 2020 International Conference on Cyber Security and Protection of Digital Services (Cyber Security), Dublin, Ireland, 2020, pp. 1-4, doi: 10.1109/CyberSecurity49315.2020.9138864.

中国保密协会

科学技术分会

长按扫码关注我们

作者：毕佳琦 中国科学院信息工程研究所

责编：蔡北平

往期精彩文章TOP5回顾

跨网攻击：突破物理隔离网络攻击技术简介

智慧城市安全顶层设计的思考

再谈数字取证技术发展面临的一些新问题

低轨卫星互联网络的发展与挑战

LaserShark无接触式攻击植入技术简介

近期精彩文章回顾

无线振动感知：原理、技术与应用

电磁指纹技术发展简述

射频感知技术在医疗健康中的应用

电磁超材料简介

移动加密流量分类识别研究概述

视频分析技术在人员身份识别任务中的应用