这一次，腾讯用AI让手语发声

5月16日，全球无障碍宣传日之际，腾讯优图实验室宣布攻克AI手语识别技术挑战，联合深圳市信息无障碍研究会发布“优图AI手语翻译机”，致力于通过人工智能技术为听障人群搭建无障碍沟通平台。

AI手语翻译机以普通摄像头作为手语采集装置，依托高性能计算机进行后台运算，能够实时地将手语表达翻译成文字。用户不需要携带任何额外装置，只要面对摄像头完成手语表达，就能从翻译机中得到反馈回来的识别结果。

未来， AI手语翻译机有望在机场、高铁、民政窗口等公共场所部署应用，助力信息无障碍城市建设。

优图发布AI手语翻译机

这也是继本月初优图实验室宣布通过人工智能技术帮助警方寻回多名被拐超过10年儿童之后，腾讯对“科技向善”理念的又一践行，也是我们在计算机视觉人工智能领域的又一重大技术突破。

“有温度的科技”，助力无声世界“发声”

深圳市信息无障碍研究会的雷老师随机对着摄像头比出“你很聪明”、“人人都有梦想”“很高兴认识你”等手语，通过AI手语翻译机均实现了准确的文字翻译。

优图实验室邀请了许多像雷老师一样的志愿者来进行亲身测试，只为无声世界的这群人能够更好的 “发声”。

据世界卫生组织最新数据显示，目前全球约有4.66亿人患有残疾性听力损失，据北京听力协会2017年公开数据，估计中国残疾性听力障碍人士已达7200万。而《2017年百城无障碍设施调查体验报告》显示，我国无障碍设施整体普及率仅为40.6%

对于听障者来说，手语是更易于使用和接受的交流方式，而我国目前致力于听障者专业服务的人士只有大约一万名，大部分公共服务并没有配备专门的便利设施。

目前，针对解决听障人群沟通问题的研究方向多集中在讲文字转化成手语，而“针对听障人群的手语识别转化成文字”的方向因为技术难度极大，尚鲜有技术方案落地。

那么，腾讯如何用AI升温？

据优图实验室研究员阳赵阳介绍，手语翻译的核心技术是手语识别（SLR），通过计算机算法，自动区分手语表达中的各类手势、动作、手势和动作之间的切换，最后将手语翻译成为文字。

相比于此前的手语识别相关的产品和技术方案，优图实验室手语识别算法有以下几大突破点：

让交流“不受限”，随时随地AI手语翻译

手语表达极具复杂性，一个手势或者动作幅度的小变化就可能会造成表达意思上很大的不同。

以往很多产品或方法往往需要借助于一些额外的设备，例如借助手套、手环来获取手臂和手掌的活动信息。这些额外的设备无形之中增加了使用的门槛，同时也带来了一定的不便利性。

AI手语翻译机不需要任何额外设备的帮助，用户只需要一个普通的摄像头（如手机或普通网络摄像头）对手语表达者的表达过程进行拍摄，翻译机就可以完成识别翻译的过程。

尊重手语使用习惯，支持多样性表达

手语极具地域性和多样性。地域性即指不同地区（如深圳和广州）对同一个词可能存在不同的表达方式，同时因个人习惯而已，即便是在同一个标准下，动作的呈现也可能不尽相同。

我们首次将多样性的问题考虑到了算法识别的过程中，支持常见的多样性表达，用户不需要针对翻译机学习某种特定的词与动作之间的映射，可以根据自己平时的表达习惯进行表达即可。

不单是字句翻译，而是助力流畅“交流”

听障人士进行手语表达往往以句子为单位，表达完一个完整的句子之后才会出现停顿，但以往诸多许多产品或算法实际上是以单个词为单位进行识别的，需要在词与词之间做出明显的停顿。这很大程度限制了使用的灵活性和流畅度。

AI手语翻译机能够实现整句的识别和翻译，用户表达的时候可以连贯将整个句子表达完。也不需要设定特定的结束或起始动作，而是直接对用户的动作与否进行判断。

目前，优图实验室手语识别数据集覆盖了近千句日常表达，900个常用词汇，是最大的中文手语识别数据集。

科技向善，用AI消除沟通障碍

深圳市信息无障碍研究会秘书长杨骅表示，腾讯优图提供的这项技术，可以在一定程度上缓解听障者的沟通障碍，为听障者提供更好的服务。

 优图和深圳信息无障碍研究会AI听障无障碍联合项目组

实际上， 这并不是腾讯在AI+无障碍建设上的首次尝试，腾讯一直在坚持推动“一个都不能少”和“信息无障碍”理念的传播与落地。

腾讯自 2009 年起在信息无障碍方面率展开探索，截至目前，旗下QQ、QQ空间、微信、腾讯网、腾讯新闻、应用宝、企鹅FM等大部分产品已针对障碍用户实现专门优化。腾讯旗下各类产品从社交、娱乐、新闻等多维度出发，共同努力，为障碍人士构建友好的信息社会。

2018年12月3日，腾讯获得了“联合国教科文组织数字技术增强残疾人权能奖”。

秉承“科技向善”的技术价值观，腾讯一直致力于通过AI等技术手段解决人类面临的社会问题。

用AI消除障碍，做有温度的科技、无差别的科技，腾讯一直在路上。

原文始发于微信公众号（腾讯技术工程）：这一次，腾讯用AI让手语“发声”