优秀论文 | 基于双模态融合的ZigBee设备识别方法

据亿欧发布的2024智能家居研究报告显示［1］，2023年中国智能家居市场规模达到7558.1亿元，预计2025年市场规模达到10170.2亿元，物联网、云计算、人工智能等技术的融入，推动智能家居产业繁荣发展。为了实现智能家居自动化，许多智能设备都配备了嵌入式传感器，能够持续地收集周围的环境数据，并根据用户设置执行相应的策略，实现设备之间的智能联动。同时，智能家居设备可以通过无线网络与云端服务器通信，用户通过APP可远程查看设备的状态信息。常见的短距离无线通信协议有Wi-Fi、BLE和ZigBee协议。ZigBee协议作为低成本、低功耗的无线通信协议，被广泛地应用于小型智能传感器中。

大量智能传感器设备的使用，在方便人们生活的同时，也带来信息安全风险。智能传感器设备持续收集、传输、处理环境中的用户行为信息。一旦入侵者在房间附近部署小型传感器，即可远程收集用户的个人隐私数据。例如，入侵者可以在用户周围部署门磁传感器，通过其状态的变化来分析用户的出行规律，或者在房间附近部署人体传感器，通过人体传感器的状态分析来推断家中是否有人，严重侵犯了用户的个人隐私安全。

为保护用户隐私安全，可以通过分析设备的无线流量识别周围存在的智能传感器，消除潜在的安全威胁。现有研究大多基于从家用无线路由器获取设备流量，在互联网上捕获设备间或者设备与云服务间的IP流量来识别智能家居内的设备信息，对用户而言这种场景有一定局限性，用户可能无法接入攻击者所部署的无线网络中。同时，智能网关在接收智能设备流量后会进一步处理流量数据，在无线路由器中收集到的设备流量数据可能会丢失一些重要的设备数据特征。此外，现有的ZigBee设备识别研究依赖设备流量的应用层和链路层特征，由于不同厂商在同类产品上的运行逻辑类似，在多设备分类场景下的性能不足。

为此，本文提出了一种基于双模态融合的ZigBee设备识别方法。首先，设计了一种新的智能家居隐私安全防护场景，针对ZigBee协议的智能传感器，通过无线嗅探收集环境周围的ZigBee流量数据。然后，通过分析智能设备独特的运行模式，从完整ZigBee网络流量中提取单个设备的流量，并利用数据的时序关系对流量进行切分。最后，分别在文本模态和图像模态下提取流量的多维特征，融合双模态构建ZigBee设备识别模型。实验表明，即使ZigBee流量进行了加密，识别模型也能有效地区分出多个厂家的不同智能家居设备，设备识别的准确率达到99%左右。