屏幕之漏：计算机视频电磁辐射泄漏及其恢复研究（下篇）

2024年12月26日14:51:58评论53 views字数 5682阅读18分56秒阅读模式

引言

随着电子设备在日常生产和生活中的广泛应用，电磁辐射泄漏问题逐渐引起人们的广泛关注。电磁辐射泄漏是指电子设备在处理敏感信息时，产生的电磁辐射信号可能携带关键信息的现象。攻击者在特定条件下可以截获这些辐射信号，从而重建并恢复泄漏信号中隐藏的数据。由于这类泄漏通常在受害者毫无察觉的情况下发生，因而具有高度隐蔽性和较大的安全威胁，防御难度较高。而计算机视频电磁辐射泄漏是电磁泄漏中最典型的例子。本文旨在探讨计算机显示设备的电磁辐射泄漏特性，并分析现有的计算机视频电磁泄漏恢复技术。上篇已经总结计算机电磁辐射泄漏信号的时域与频域特性，分析其产生的根本原因。而本篇则聚焦于计算机视频电磁泄漏信号的重建过程，探讨视频图像还原的最新研究成果，并展望未来研究方向。

计算机视频电磁辐射重建过程

在成功捕获计算机视频信号的电磁辐射泄漏后，可以通过一系列信号处理技术将这些泄漏信号转换为可视图像。本章将以VGA（视频图形阵列）模拟信号的恢复过程为例，详细说明如何从电磁辐射泄漏中提取并重建视频信号。

VGA信号作为一种模拟视频信号，具有连续的电压变化，这些变化能够对应到屏幕上显示的像素灰度值，因此其泄漏信号恢复过程较为直接。VGA信号的恢复主要依赖于对信号的正确采样与重采样。首先，需对捕获到的电磁辐射信号进行初步处理，包括噪声抑制和幅度调整，以确保数据质量和信号的清晰度。随后，通过分析信号的时域和频域特征，可以精确提取像素时钟信号及其灰度信息。在时域分析中，信号的跃变与图像内容的变化紧密相关，因此，通过对信号跳变沿的分析，便能够恢复VGA信号中连续变化的图像数据，如图8所示。

因此，基于VGA的信号波形，文献[1]和[3]设计了结构近似的视频图像状态机，如图1所示。使用示波器连接天线对电磁泄漏辐射以及交调信号进行接收。首先对视频辐射信号进行数字滤波，以消除不必要的干扰；使用示波器接收并保存波形，并对采集到的信号进行重采样，以便得到每一个像素点对用的数据；接着按照VGA的传输原理对采样信号进行重建，将数据排列成为二维数组，并按照数组对应的顺序将图像进行还原，将输出图像作为还原结果。

图1 VGA信号还原流程图

接下来将简单讨论如何从抽样后的数据序列中恢复出所需要的图像信息。根据上篇中的VGA信号波形示意图可知，示波器收集到的信号主要来自于VGA的R、G、B传输线，传输线上传输的分别是红色，绿色和蓝色信号亮度的模拟信号，每个传输时间段内对应一个像素的亮度信息。所以，按照VGA协议标准规定的频率在抽样时间内采集到每个像素点的亮度数据，即可实现图像的重构。具体方法如下：

从截获的数据序列中抽取个数据点，具体的k，m，n值参考屏幕的分辨率与刷新率，这k个数据点即为还原数据序列，将这个数据序列记为还原数据集C；

a)从截获信号里获取数据集C

b)重构二维数组的过程D与图像的还原

图2 VGA泄漏信号的采样、重排列与还原过程

在采样时，将采样频率与RGB像素点信号频率设置为相同的大小，经过一个场同步时间，所截获的视频辐射泄漏信号数据点个数就等于一帧图像中像素点的总数。此时，视频辐射泄漏信号中的数据点与屏幕像素是一一对应的关系。

此外，在视频的采样还原中，截获的视频辐射信息在经过上述的还原过程之后未必都有理想的同步效果。这是因为计算机或是显示器的晶振或多或少就会有频率的偏差。当截获还原采样时钟每与视频泄漏主时钟偏差1Hz时，还原出来的图像每行就会多一个或少一个像素点，此时就出现倾斜失真。继续分析，当图像向左倾斜时，表示这抽样间隔时间过大，抽样频率比视频传输协议的时钟频率小，因此需要减少行像素数n来抑制倾斜；反之向右倾斜时，意味着频率过大，此时需要增大n来抑制倾斜。文献[6]讨论了图像恢复时的频率与泄漏信号采样频率之间的关系，并指出：如果图像频率与抽样频率不一致时，需要对采样的信号进行插值后重采样才能恢复原图像。

重采样的过程如下：

首先,对采集到的数据点进行插值，可采用的方法包括最近邻法、双线性内插法以及三次卷积内插法，将原始的数据插值为至少原来的2倍，或直接拟合成一条连续的曲线；

数字视频信号（如DVI、HDMI、DP）的还原过程与模拟信号类似，但存在一定的差异，主要体现在数字信号的编码特性。恢复数字信号时，首先需要将捕获的数字编码转换回原始的灰度图像信号。由于数字信号具有明确的帧结构，并且通常采用标准化的编码方式，因此这一过程相对较为简便。在处理数字视频信号时，关键步骤仍然是捕获高质量的泄漏信号和准确解析编码结构，从而实现对原始视频图像的恢复。

计算机视频还原图像处理技术

通过对还原矩阵进行滤波、去噪、补偿和增强处理，可以修复由于信号缺失或干扰引起的图像缺陷。此外，针对视频信号中的频率漂移或相位误差，还可以应用相位校正和同步技术，确保重建图像的精确度。在处理复杂电磁泄漏场景时，使用卷积神经网络（CNN）等深度学习算法也已成为一种趋势。通过对大规模数据集的训练，这类模型可以有效降低误码率，优化图像的清晰度和对比度。本章将介绍两种从基础信号处理到先进图像还原技术的应用过程。这些技术的结合不仅能显著提升还原图像的质量，还能扩展电磁泄漏信号的应用范围，为今后的信息安全研究提供重要的支持。

基于DRUNet的计算机视频泄漏图像还原技术

文献[2]的作者使用深度残差网络，将准备的3491个截获的HDMI视频信号与匹配的电脑实际显示的图像作为训练集，窃听图像的同相和正交分量作为输入，灰度图像作为输出，对神经网络进行训练。在实际测试中，该神经网络的图像误码率相较于传统的电磁泄漏恢复算法的误码率提高了最大约50%，且图像显著更为清晰。他们首先构建了数据集，这个数据集包括原始的电脑显示图像（电脑截屏）和截获图像（电磁泄漏还原图像）的数据集。数据集包括原始信号和实际捕获的信号，用于训练和评估CNN模型。然后作者开始构建一个深度学习模型设计。他们设计一个深度卷积神经网络（CNN）作为回归器，用于学习从截获的电磁信号到干净源图像的映射。在这个过程中，其使用了DRUNet（Deep Residual UNet）架构。由于UNet是一种流行的用于图像分割的网络结构，它具有对称的编码器-解码器结构，可以有效地捕获图像上下文信息，并在解码器中精确地定位特征。UNet的跳跃连接（Skip Connection）有助于在图像重建过程中恢复细节和边缘信息。而由于DRUNet结合了UNet和ResNet的优势。ResNet通过引入残差学习框架解决了深度网络训练中的梯度消失和梯度爆炸问题，使得网络能够更深入地进行训练而不会降低性能。

图3 DRUNet网络结构图

在训练过程中，其通过最小化损失函数来优化模型参数。损失函数可以是平方误差、绝对误差或其他适合图像恢复任务的度量。在图像恢复方面作者经过实践后发现三者的性能与觉过相差不大，可以任意选择一个。然后在训练过程中加入Total Variation（TV）正则化。由于处理的是从电磁信号恢复图像的问题，这些图像通常有着很大噪声和失真。通过加入TV正则化，能够提高恢复图像的质量，以减少噪声并保持边缘信息。最后使用测试集评估模型的性能，测试集包括未参与训练的原始-还原图像对。最后，其采用字符错误率（CER）作为评估指标，通过光学字符识别（Tesseract OCR）软件比较原始图像和还原图像的文本。最后在使用实际屏幕的截获图像，对模型进行测试，结果如下：

图4 传统图像恢复(上)、DEEP-Tempest图像恢复(中)与原始电脑显示图像(下)的对比

此外，作者还对他们的CNN网络的鲁棒性进行了测试，他们发现当改变监视器分辨率，并且选择不同的像素频率倍数（如从泄漏信号的第三谐波改为第四谐波时）时，模型依然能够恢复出较为清晰的图像。例如，作者提到在1600×900分辨率的图像上，当在第四谐波上进行还原时，模型的CER（字符错误率）为26%，这表明即使在未经过特定训练的设置下，模型也能保持相对较好的性能。然而，当分辨率显著改变（如从1600×900变为1280×720）时，性能会有所下降，CER提高此时会到50%。这表明对于某些分辨率和设置的组合，模型可能需要额外的训练或调整才能保持最佳性能。

作者还对未训练的新字符进行了测试。他们使用未给网络训练过的拉丁文进行还原测试。测试结果显示，与之前在训练集上获得的结果相比（CER约为30%），在新数据集上的平均CER增加到了48.7%。这表明模型在面对未见过的字体时性能有所下降。但是，通过重新给模型提供500个样本，再进行额外10个周期的训练，CER可以再次降低到29.8%。这表明模型具有通过少量的训练周期学习新字体类型的潜力，并且证明了模型的灵活性和适应性。

基于MIMO技术的复杂电磁环境下视频图像重建技术

图5 论文实验布置图

在这个过程中，作者使用了MIMO技术，部署了两个定向天线作为接收器，这些天线可以分别捕捉来自不同计算机的泄漏信号。通过使用两个天线的阵列，可以利用它们的信号强度和位置差异来增加检测到的信号的SNR。理论上，增加一个天线可以提供至少3dB的SNR改善。由于对来自不同信号的分离使用的是不同信号之间的频率差，在通过低通滤波实现的，因此，MIMO接收对信噪比的提高是极其有益的。最后，作者为每个图像加入了滑动自平均模型以降低噪声，增加恢复图像的清晰度，结果如下：

图6 三个计算机视频泄漏源的图像还原

表泄漏源数量与信噪比大小

可以看出，相较于一个视频泄漏源，当存在三个视频泄漏源时，信噪比会有明显的下降。但是有MIMO技术以及精准的同步脉冲提取，仍可以分辨出想要还原的视频源的泄漏图像。这篇文献证明从多个计算机视频泄漏的电磁信号中分离并重建原始视频数据信号是可行的，不仅能够在没有任何关于计算机视频泄漏源的先验知识的情况下工作，自动恢复同步频率和图像分辨率，还展示了一个实用、小型化和低成本的设备，用以从多路视频信号中恢复出想要的视频信号。且探索了（MIMO）技术在提高重建图像质量方面的潜力，包括使用MIMO来增加信号的信噪比的效果。

总结

本文调查了电磁泄漏的各种来源，包括计算机显示器、无线键盘和鼠标、打印机、扫描仪、导体、压电传感器和射频识别设备。并着重分析了计算机视频信号电磁泄漏的信号特征，重建技术以及图像处理过程。在最后，还列出了相关的减小电磁辐射泄漏信号的方法以及现已投入使用的产品。在未来，随着计算机视频系统在生活中使用频率的不断提高，视频信号电磁辐射泄漏现象也将越来越多。本文对现有的计算机视频电磁泄漏以及其恢复方面的最新研究成果进行了较为全面的总结与研究，并选择了两个有趣且关键的图像还原处理技术进行了分析。未来的研究方向一方面应该进一步集中在研究更先进的信号处理与图像还原技术，旨在恢复出更为清晰地图像；另一方面应集中在电磁泄漏信号防护领域，着力研发更轻量化、更小型化、效果更好、成本更低的电磁辐射泄漏防护技术，以尽量减小泄漏的危害。

参考文献

[1]. De Meulemeester P, Scheers B, Vandenbosch G A E. A quantitative approach to eavesdrop video display systems exploiting multiple electromagnetic leakage channels[J]. IEEE Transactions on Electromagnetic Compatibility, 2019, 62(3): 663-672.

[2]. Fernández S, Martínez E, Varela G, et al. Deep-TEMPEST: Using Deep Learning to Eavesdrop on HDMI from its Unintended Electromagnetic Emanations[J]. arXiv preprint arXiv:2407.09717, 2024.

[3]. 张南. 计算机电磁信息泄漏与视频信息认知研究[D].北京邮电大学，2019.

[4]. Mao J, Liu P, Liu J, et al. Method for detecting electromagnetic information leakage from computer monitor[J]. Control and Intelligent Systems, 2017, 45(1): 37-42.

[5].Kubiak I, Przybysz A. Measurements and Correctness Criteria for Determining the Line Length of the Data Image Obtained in the Process of Electromagnetic Infiltration[J]. Applied Sciences, 2022, 12(20): 10384.

Kubiak I, Boitan A, Halunga S. Assessing the security of TEMPEST fonts against electromagnetic eavesdropping by using different specialized receivers[J]. Applied Sciences, 2020, 10(8): 2828.

中国保密协会

科学技术分会

长按扫码关注我们