元宇宙世界，你信不信面部动态特征会泄漏你敏感信息

9月25日，媒体报道，南京信息工程大学人工智能学院（未来技术学院）印发《关于信息工程系更名为元宇宙系的通知》。通知显示，经研究决定并报学校批准该院信息工程系更名为元宇宙工程系。据悉，这是全国首个高校设立的元宇宙工程系。

9月24日，由金华市政协工作委员会、北京大学科技园指导，金华北大科技园、浙江微铭汇信息技术有限公司联合主办的产业元宇宙创新生态大会隆重启幕。大会指出，元宇宙作为沉浸式体验、跨空间融合的数字世界新入口，对实体经济的牵引赋能效应巨大，正成为点亮智能浪潮的“信号灯”。

9月23日，第四届“‘大数据与营商环境’高层研讨会”暨城市活化研究院（公号）“后疫情城市活化观察”系列沙龙在上海社科院举办。本次研讨会以“文旅元宇宙：场景落地与生态建立”为题，聚焦城市活化、元宇宙、数字文旅等主题。

9月22日，中国通信标准化协会扩展现实（XR）产业及标准推进委员会（TC625）召开XR设备工作组第1次会议，中国信息通信研究院、业内科技企业与终端厂商齐聚一堂，“扩展现实终端设备测试白皮书”和“扩展现实终端芯片需求白皮书”正式立项。

此外，今年4月，中国人民大学交叉科学研究院成立了国内高校首家元宇宙研究中心。中心将推出研究报告，出版中英文书籍和发表高质量论文，面向本硕博设立人才培养课程，通过对元宇宙这一国际创新领域的探索，推进学科交叉、交叉科学学术交流和人才培养。

众所周知，元宇宙是一个平行于现实世界的虚拟数字世界，是自然人、机器人、虚拟人紧密整合的系统化生活世界。

此外，元宇宙所需要的技术非常复杂，需要网络、算力、显示、芯片到AR/VR/MR、AI、NLP、视频渲染、云端虚拟化再到机器学习、计算机视觉、人机交互、工业互联网等技术，是涵盖许多产业、许多领域参与的宏大工程。

还有学者指出，元宇宙概念及其引发的系列问题涉及众多学科，如哲学、理论经济学、应用经济学、法学、社会学、新闻传播学、统计学、公共管理、信息与资源管理、智能科学与技术、区块链等。

由此可见，元宇宙与高新科技息息相关，而高新科技是占领商业食物链顶端的大杀器。按照资本对人性的了解，以及资本趋利性的本性，势必会加大在此层面的投入与研发，所以我们距离可玩性的元宇宙时代已然不远。

当前，元宇宙需要一些设备来实现，比如VR，或者增强版的虚拟现实即AR，继而又衍生出混合虚拟世界MR，最近又诞生出更新的虚拟世界，叫推展虚拟世界XR。

元宇宙什么时候能够摆脱这些外部设备，笔者觉得那可能就是生物科技的巅峰，即直接在人体中植入相关芯片设备，彻底地人机结合，可能便不再需要外设。

所以，当前很长一段时间内，玩转元宇宙，离不开AR/VR等相关设备。然而，人在元宇宙中，会不会有着新的安全问题？目前，还真有科研人员对此进行了相关研究。

人虽生活在现实中，但人的精神往往却可以超脱现实，因为就生物特性而言，人眼和人脑都具有欺骗性。

所以，可以让人在一个虚拟的世界中获得与现实世界同等性质的满足。比如网游，很多人沉浸其中，就是因为获得了某种满足感与沉浸感。而虚拟世界是比网游更沉浸的世界，势必会有很多人沉浸其中，真正成为一个平行于现实世界的虚拟空间。

然而，问题来了，虚拟世界能够真正与现实世界平行吗？那也未必。最近一项研究显示，不法黑客可以通过虚拟现实设备，捕捉到人的面部动态特征，从而推断出许多敏感信息。具体是怎样的呢，且看下列新闻。

今年3月，罗格斯大学的研究人员在第 27 届移动计算与网络国际会议论文集上，发表了一篇题为“Face-Mic: inferring live speech and speaker identity via subtle facial dynamics captured by AR/VR motion sensors”的论文，“Face-Mic”是研究虚拟现实（AR/VR）头盔上的语音命令功能如何导致隐私泄露的第一项工作。

这项研究由WINLAB副主任、罗格斯大学-新不伦瑞克分校电气与计算机工程研究生主任Yingying“Jennifer”Chen领导，其他研究合作者包括德克萨斯A&M大学的Nitesh Saxena和田纳西大学诺克斯维尔分校的Jian Liu。

该研究表明，黑客可以使用内置运动传感器的AR/VR头盔来记录微妙的、与语音相关的面部动态，以窃取通过语音命令交流的敏感信息。

窃听攻击者可以根据这些面部特征，推导出简单的语音内容，包括数字和文字，从而推断出敏感信息，如信用卡号码、社会安全号码、电话号码、PIN号码、出生日期和密码。暴露这些信息可能会导致身份盗窃、信用卡欺诈以及机密和医疗保健信息泄露。

是不是感觉很可怕。黑客竟然已经牛逼到这等地步了吗？以往我们担心的是自己的人脸数据被泄露，从而解锁某些设备或账户。

如今，人脸的一些动态特征，居然能够关联一些数字文字信息，并与自己敏感隐私信息结合到一起，乍一听真有些天方夜谭的感觉。

为了证明安全漏洞的存在，罗格斯大学的研究人员开发了一种针对AR/VR头盔的窃听攻击装置Face-Mic。Face-Mic通过利用人类的面部动态，在使用安装在面部的AR/VR设备时，进而推断出私人和敏感信息。

Face-Mic是第一部利用真人语音相关的面部动态，同时使用面部安装的AR/VR设备来推断隐私和敏感信息的作品。Face-Mic可以通过四款主流的AR/VR耳机获取耳机佩戴者的敏感信息。

研究人员研究了AR/VR耳机运动传感器捕捉到的三种振动，包括与语音相关的面部运动、骨传振动和空气传播振动。研究人员指出，骨传振动尤其富含详细的性别、身份和言语信息。

实验过程中通过Face-Mic发现在佩戴者使用AR、VR头盔，研究员说：“通过分析运动传感器捕捉到的面部动态，我们发现平价头盔和高端头盔都存在安全漏洞，它们均在不被允许的情况下可通过人物面部动态计算并泄漏个人敏感信息。”

一旦用户被黑客识别，窃听攻击可能导致用户的敏感信息和生活方式进一步探入，如AR/VR旅行历史、游戏/视频偏好和购物偏好。这种追踪损害了用户的隐私，对广告公司来说可能是有利可图的。

虽然供应商一般都有关于语音访问功能的政策，但研究发现，内置的运动传感器，如AR/VR头盔内的加速计和陀螺仪，不需要任何访问许可。

这一安全漏洞可被意图实施窃听攻击的人利用。研究员表示，鉴于该发现，AR/VR头盔的制造商应该考虑额外的安全措施。

比如，VR耳机的制造商应该考虑额外的安全措施，例如在泡沫替换盖和头带中添加韧性材料，这可能会减弱内置加速度计/陀螺仪捕获的与语音相关的面部振动。

此外，相关研究人员正在检查面部震动信息可以认证用户并提高安全性，以及AR/VR耳机如何捕捉用户的呼吸和心率，从而不引人注目地测量幸福感和情绪状态。

由此可见，看起来悬乎不可能的事情，往往确实存在可操作的空间。虽然其中的原理并不是一下子可以搞清楚，但是或能从中窥探出一些网络安全防范的新思路。

其实，人的表情往往蕴藏着许多信息。比如据心理学家分析，人类主要拥有至少七种表情，每种表情都表达不一样的意思：

▶高兴：人们高兴时的面部动作包括：嘴角翘起，面颊上抬起皱，眼睑收缩，眼睛尾部会形成“鱼尾纹”。

▶伤心：面部特征包括眯眼，眉毛收紧，嘴角下拉，下巴抬起或收紧。

▶害怕：害怕时，嘴巴和眼睛张开，眉毛上扬，鼻孔张大

▶愤怒：这时眉毛下垂，前额紧皱，眼睑和嘴唇紧张。

▶厌恶：厌恶的表情包括嗤鼻，上嘴唇上抬，眉毛下垂，眯眼。

▶惊讶：惊讶时，下颚下垂，嘴唇和嘴巴放松，眼睛张大，眼睑和眉毛微抬。

▶轻蔑：轻蔑的著名特征就是嘴角一侧抬起，作讥笑或得意笑状。

尤其是“微表情”，往往隐藏着许多深层次的信息。当然，这些都是情绪化的特征。但是在数字化时代，人脸表情特征以及说话音量的高低导致的骨感震动，可能真隐藏着更多前所未知的信息，其中就暗藏许多人未曾察觉的数字、密码、账号等敏感信息。

在北京邮电大学信息安全中心、公共大数据国家重点实验室联合研究发布的一篇名为《信息安全心理学（社会工程学原理）（α版9）——微表情泄密》论文中，就提及人的表情与信息安全的关系。

这篇论文发表于2017年，可以说，是相对较早地对面部动态特征与信息安全结合起来的权威研究。

论文认为：所有信息安全问题，全都归罪于人。但在过去数十年里，全球信息安全专家们却几乎把“人”给忘了，都主要埋头于技术对抗。反而是黑客们，常常利用所谓的“社会工程学”，来攻击“人”；并以此为突破口，结合各种技术和非技术手段，把用户和红客打得落花流水。

更具体地说，至今全世界都片面地把网络看成由硬件和软件组成的“冷血”系统，认为可以通过不断的软件升级、硬件加固等技术办法，来保障信息安全；但却忽略了那个最重要、最薄弱的关键环节，即，“热血”的“人”！

有意思的是，文章将硬件设备视为“冷血电脑”，而人视为“热血电脑”。这样一个比喻，看来还是比较精妙。

因为人机是一个结合体，尤其是元宇宙时代，人机结合得更为紧密。如果将人机视为一个整体系统的话，它们除了生物构造不同，人几乎可以视为与虚拟设备结合的一部分，就是一台“热血电脑”。

一直以来，大众所认为的黑客攻击，可能还停留在挂马、暴力破解、工具入侵等层面，实际上，很多黑客的攻击方式，在普通人看来，已经到了一个“玄学”的层面。

比如，黑客在攻击“冷血电脑”时，可以从密码芯片的能量消耗分布中，分析出相关明文内容。其实，这就是黑客的一种重要攻击思路，统称为“边信息攻击”，即从系统和器件的“不可避免的泄露噪声”中，提取出有用的信息。

如今，开始有黑客将这种“边信息攻击”应用到了人的身上，他们将人视为“热血电脑”，而人身上的“边信息”自然就是“微表情”、“面部动态”、“声音特征”等。

实际上，黑客对“人”的攻击一直都存在，他们采取的往往是“反馈→微调→反馈”的循序渐进攻击法。比如黑客可以控制受害者的情绪，在错误的情绪之下，受害者可能产生错误的言行，从而实现黑客的攻击目的。

当黑客们将人的“面部动态特征”纳入攻击目标后，会不会在元宇宙的虚拟世界引导人的情绪，让人们是元宇宙世界做出错误的言行，从而泄露更多的个人信息呢？

这是一个有意思的设想，也是一个可能会实现的情形。

现实确实如此。心理和情绪可以通过表情显示出来。黑客从多次攻击的总结中，可以掌握一个人的面部动作信息，这种信息又可以成为下一轮攻击的依据和参考。这也是上文所提及的“反馈→微调→反馈”的循序渐进。

所以，准确掌握被攻击对象的真实面部动态特征以及这些表情背后代表的真实信息，是黑客所追求的重要目的。

心理学家研究发现，人在面对面交流时，言语所能表达的信息只占7％，说话声调所表达的信息占38％；肢体语言（包括面部动态特征）所表达的信息最多，即占55％。

心理学家还发现，人类约有70万种肢体语言，其中，脸部表情最丰富、最集中，达25万种之多，占肢体语言的35.7％。在人的感情和态度中，能用声音表达的只有不到40％，而无声的肢体动作（包括面部表情等）表达的却高达50％。

由此可见，人的眼神、手势、语调、触模、肢体动作和面部表情，能够传递出更多的信息特征，这种信息特征也方便佩戴的机器去采集与识别。这也就意味着，强大的黑客能够从这些信息特征中，窥探出更多真实的秘密信息来。

通过搜寻互联网发现，安全研究中，对于面部动态特征所对应的背后数字信息的相关研究还没有多少，因为这确实看起来有些玄学的意味。

然而，在安全博弈中，黑客往往占据着主动的地位，他们总是在想方设法绕开安全人辛辛苦苦建立起来的安全防线，以获取更多的信息与数据，达到更深层的攻击与窃取效果。

所以，安全研究有时也并不是那么枯燥，也不是整天鼓捣着机器与代码，其还与生物学、心理学、社会性息息相关。未来想要成为一个独特的安全人，可能还需要掌握更多学科领域的知识才行。

目前这类研究还没有太多实例，本文也仅是根据目前仅有的一些案例整理并提出一些想法，还待更多专业权威人士指导和探讨。