EyeEcho：眼镜上的连续低功耗面部表情追踪
人机交互
2024-02-27 v2
摘要
本文介绍了 EyeEcho，一种极简侵入式的声学传感系统，旨在使眼镜能够连续监测面部表情。该系统利用安装在眼镜上的两对扬声器和麦克风，向面部发射编码的不可听声学信号，以捕捉与面部表情相关的细微皮肤形变。反射信号经过定制的机器学习流水线处理，以估算完整的面部运动。EyeEcho 的采样率为 83.3 Hz，功耗相对较低，仅为 167 mW。涉及 12 名参与者的用户研究表明，仅需四分钟的训练数据，EyeEcho 就能在包括坐姿、行走以及重新佩戴设备在内的不同现实场景中实现高精度的追踪性能。此外，一项涉及 10 名参与者的半野外研究进一步验证了 EyeEcho 在参与者进行各种日常活动时的自然场景下的性能。最后，我们展示了 EyeEcho 部署在商用现货（COTS）智能手机上的潜力，可提供实时面部表情追踪。
引用
@article{arxiv.2402.12388,
title = {EyeEcho: Continuous and Low-power Facial Expression Tracking on Glasses},
author = {Ke Li and Ruidong Zhang and Siyuan Chen and Boao Chen and Mose Sakashita and François Guimbretière and Cheng Zhang},
journal= {arXiv preprint arXiv:2402.12388},
year = {2024}
}
备注
24 pages, 21 figures, 6 tables, To appear in the Proceedings of the CHI Conference on Human Factors in Computing Systems (CHI 2024)