明升体育娱乐
当前位置:明升体育娱乐 > 智能科技 > 正文

搜狗发布唇语识别技术,“读唇”这事的商业价值是什么?

12-22 智能科技

12月初的世界互联网大会上,搜狗发布了一项“唇语识别”技术。唇语识别,简单说就是通过图像识别你的口型,转写出你说的内容。

在国外的技术界,2016年谷歌和牛津大学的深度学习项目组曾经共同研发唇语识别技术,在那一年的视频节目测试中,机器唇语识别的准确率达到46.8%,高于人类唇语专家12.4%的识别率。今年3月,数据可视化服务商海云数据也发布了类似的唇语识别技术。

放在以往,阅读唇语这件事在人们印象中,多是小说里武侠和特工的特异功能。但当我们要用机器解决这个问题,就意味着它有足够的商业空间,让公司乐于把它批量的大规模应用,做成产品。那么机器读唇究竟有什么应用价值?

接受36氪采访时搜狗语音交互中心技术总监陈伟表示,目前唇语识别的落地场景主要有两种:其一,在多数语言场景下,摄像头的覆盖率远远高于麦克风,但通过摄像头获得的是图像数据,目前主要用于监控简单的行为,但很难知道例如安防这类场景中图像中的人物在说什么,使用唇语识别技术就可以通过嘴的动作获取大量内容信息。

其二,唇语识别可以作为辅助技术,提升语音识别技术现阶段的准确率。搜狗的唇语识别技术目前在开放的口语测试级上可以达到50%-60%的准确率,在限定场景中可以达到90%。这个数字对于现阶段的唇语识别技术而言,是不错的水准,但对于商用尚欠火候。毕竟各家大厂语音识别准确率普遍达到97%后,依旧不能令消费者完全满意。不过唇语识别可以作为语音识别的辅助技术出现,比如去弥合97%的语音识别率剩余那3%的台阶。

“提升语音识别的准确率需要降低噪音,行业内有两条路在走,一条是通过麦克风阵列等硬件方式做音频信号的增强,屏蔽噪音,另一条是加入‘多模态信息’,就比如唇语识别提供的视觉信息。”陈伟解释称。 

36氪和其他媒体采访了搜狗唇语识别技术的研发团队,以下为采访内容,经36氪编辑略有删节:

问:相比麦克风阵列提升语音识别准确率,用唇语识别技术去解决,在技术上的提升空间是否更大?现实落地中是否面临增加摄像头会增加成本的问题?

陈伟:我们做的事情不是说马上就要落地,对现阶段来说,我认为麦克风阵列依然比唇语更靠谱,解决噪声的问题,落地的速度上,麦克风序列都已经是落地的阶段了,而唇语阵列刚刚研发完成了第一步,后面要跟音频做一些结合做一些进一步降噪的工作,所以这个事面向的时间段是不一样的,就是可能可是当前的,但是唇语可能是明年,我们计划在一年内有一些落地的项目在做。

在噪声的环境下,语音识别的可能不准确率不止3%,甚至在40%、50%或0。这种情况下“唇语识别”比麦克风识别强,假如说声音非常的嘈杂,麦克风阵列就算加了一些硬件也解决不了这个问题,有它的一些局限性在,但是唇语相当于绕过了噪声,通过视觉的方式来解决。

问:现在唇语识别最刚需的场景是什么?

陈伟:安防其实也很刚需,我们现在花很多的精力去解决噪声问题,关于成本,其实加一个摄像头不及加一个麦克风阵列的成本高。

问:唇语识别会涉及到用户隐私方面的限制吗?

陈伟:目前的状态还没有到那个阶段,我们还在探索这件事能和哪些刚需场景结合在一起。

问:“唇语识别”未来的应用前景会有哪些?

陈伟:未来唇语可以放在安防,还有助残上面,甚至对一些早期陌生的电影,以前的电影里面,就像卓别林的很多的电影没有声音,能不能给它配字幕,有很多新的东西,就是能不能从一个人的唇动把字读出来,目前做的事很局限,我们限定在一些交互的刚需场景里面,所以在这些特定的刚需场景里面我们想把它放进去,未来像我们车载、家居、机器人倒推唇语怎么跟它结合,但是并不是限定在这些场景。

问:你提到在限定场景唇语识别的准确率能达到90%? 

陈伟:这个是没有问题的,因为在限定场景下,比如说我们现在有一个集合,我们可以对语音做一些增强,这样的话准确率高很多,因为我们有10万词,可能和垂直场景下几千词的交流这不是一个量级。

比如说在车里面,启动音乐它的准确率就很高,因为在特定的集合里面,我们有1000多个命令词,包括古诗和绕口令。这不是一个写死的状态,而是一个可以灵活操作的事情,而且这件事情其实是可以依赖任务去定制的,我们这个技术是通用的技术而不是限定的场景。

问:你觉得做这个过程的中最大的难点是什么?

声明: 该文章由 明升体育娱乐 转载,版权归原作者所有,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。如涉及作品内容、版权等问题,可联系本站删除