LipLearner：移动设备上的可定制无声语音交互
人机交互
2023-03-07 v3 人工智能
机器学习
摘要
无声语音接口是一项有望实现自然语言私密通信的技术。然而，以往方法仅支持少量且不灵活的词汇，导致表达能力有限。我们利用对比学习来学习高效的唇读表示，从而以极少的用户操作为命令实现少样本定制。我们的模型在野外（in-the-wild）数据集上对不同光照、姿态与手势条件表现出高鲁棒性。对于 25-命令分类，仅使用单样本即可达到 0.8947 的 F1 分数，且其性能可通过从更多数据中自适应学习而进一步提升。这种泛化能力使我们得以开发一款具备设备端微调与视觉关键词 spotting 的移动无声语音接口。一项用户研究表明，借助 LipLearner，用户可定义自己的命令，并由在线增量学习方案保证高可靠性。主观反馈表明，我们的系统为可定制无声语音交互提供了高可用性与高可学习性的基本功能。
引用
@article{arxiv.2302.05907,
title = {LipLearner: Customizable Silent Speech Interactions on Mobile Devices},
author = {Zixiong Su and Shitao Fang and Jun Rekimoto},
journal= {arXiv preprint arXiv:2302.05907},
year = {2023}
}
备注
Conditionally accepted to the ACM CHI Conference on Human Factors in Computing Systems 2023 (CHI '23)