空气输入法!浙大最新研究:空中动动手指,就能给智能手表输入文本

空气输入法!浙大最新研究:空中动动手指,就能给智能手表输入文本空气输入法!浙大最新研究:空中动动手指,就能给智能手表输入文本 丰色 发自 凹非寺 量子位 报道 | 公众号 QbitAI 许多人日常在用的智能手表,它的文本输入要么 靠语音,要么 靠打字或手写。 但有时你可能不方便说话,或者在那么小的屏幕上戳键盘实在有点“局促”。 那咋办? 也许可以试试

空气输入法!浙大最新研究:空中动动手指,就能给智能手表输入文本

丰色 发自 凹非寺

量子位 报道 | 公众号 QbitAI

许多人日常在用的智能手表,它的文本输入要么 语音,要么 靠打字或手写

空气输入法!浙大最新研究:空中动动手指,就能给智能手表输入文本

但有时你可能不方便说话,或者在那么小的屏幕上戳键盘实在有点“局促”。

那咋办?

也许可以试试 “隔空打字”法。

还配备联想和推荐功能,让拼写速度更快。

空气输入法!浙大最新研究:空中动动手指,就能给智能手表输入文本

给智能手表配上“隔空打字”功能

开发AirText的一个主要挑战在于如何让它理解手腕运动和指尖拼写动作的对应关系。

就像下面这张图所展示的,拼写时手腕呈现出来的轨迹和正常字母差得还挺多的。

空气输入法!浙大最新研究:空中动动手指,就能给智能手表输入文本

为此,研究团队先借助了一个现成工具Leap Motion,它可以用红外传感器跟踪手势。

然后八名志愿者使用五种不同的智能手表拼出超过25000个字符,用Leap Motion收集相关的手腕和手指运动数据。

空气输入法!浙大最新研究:空中动动手指,就能给智能手表输入文本

再将数据输入神经网络模型,进行训练,最终AirText可以根据用户手腕微小的动作变化推断指尖的轨迹。

为了加快拼写速度,他们还给系统配上了单词预测和推荐功能。

预测单词会显示在手表屏幕的四个方向,我们可以将手表向上下左右倾斜就能进行选择(晃动手表可以退格)。

空气输入法!浙大最新研究:空中动动手指,就能给智能手表输入文本

词错误率为3.9%

首先来看AirText的 准确性测试

其中错误字涉及三种类型:漏字( 用I表示,即校对成正确的拼写时需要再插入的字的数量)、多字 (用D表示,即需要删除的字数量)、错字 (用S表示,即需要替换的字数量)。

将AirText与俩基线方法 (IMU-CNN和BLSTM)相比,最终AirText得分最低,也就是准确性最高。

三者平均分分别为3.9%、30.9%和57.1%。

以上是单用户在单设备上的测评结果。

为了更准确,他们还测试了 多用户和多设备,结果如下:

空气输入法!浙大最新研究:空中动动手指,就能给智能手表输入文本

左图中,同一个用户使用5种不同智能手表测试AirText获得的准确率得分分别为:8.3%、7.5%、6.5%、7.7%和3.9%。

右图中,8位不同用户使用同一手表获得了11.2%、5.9%、4.3%、4.0%、3.6%、5.9%、4.7%和3.9%的WER。

从中我们可以看出,与不同的设备相比,不同的用户对准确性的影响更大。

不过研究人员表示,借助模型更新组件,AirTex 仍然可以针对不同用户实现较高的准确率。

然后是 速度测试

由于BLSTM基线的WER约为57%,错误率太高,研究人员只比较了AirText和IMU-CNN两者的速度。

衡量指标是WPM (单词/每分钟,Word Per Minute),其计算方式为用总体输入字数-错误字数/时间。

结果AirText的平均WPM为8.1,而IMU-CNN基线的WPM仅为4.6。

空气输入法!浙大最新研究:空中动动手指,就能给智能手表输入文本

研究人员指出,此输入速度与一些基于双手触摸屏的文本输入方法相当 (这些方法在实际应用中的WPM为9.1、9.8WPM)。

总体来看,AirText的准确率不错,但速度还需要进步。

慢的主要原因还是因为它每拼写一个字符就需停顿一会儿。

研究人员正在研究破解办法,并表示最终有兴趣将AirText商业化。

作者介绍

一作为浙江大学计算机学院助理教授高艺,浙江大学博士毕业,研究方向包括嵌入式软件、无线和移动计算、传感器网络和信息物理系统。

空气输入法!浙大最新研究:空中动动手指,就能给智能手表输入文本

通讯作者为浙大计算机学院副教授、博导董玮,同样为浙大博士毕业,研究方向包括物联网系统和网络、边缘计算、无线和移动计算。

空气输入法!浙大最新研究:空中动动手指,就能给智能手表输入文本

其谷歌学术引用次数总计3000+。

空气输入法!浙大最新研究:空中动动手指,就能给智能手表输入文本

参考链接:

https://spectrum.ieee.org/smartwatch-input-finger-writing

本文系网易新闻•网易号特色内容激励计划签约账号【量子位】原创内容,未经账号授权,禁止随意转载。

「智能汽车」交流群招募中!

欢迎关注智能汽车、自动驾驶的小伙伴们加入社群,与行业大咖交流、切磋,不错过智能汽车行业发展&技术进展。

ps.加好友请务必备注您的姓名-公司-职位哦~

点这里 ?关注我,记得标星哦~

一键三连「分享」、「点赞」和「在看」

科技前沿进展日日相见~

原创文章,作者:方正期货,如若转载,请注明出处:http://www.xkko.cn/news/1510.html