SpecTracle：基于无干扰外围摄像头的穿戴式面部运动追踪
人机交互
2023-08-16 v1 计算机视觉与模式识别
摘要
头戴式显示器（HMD）中的面部运动追踪有潜力在虚拟环境中实现沉浸式“面对面”交互。然而，当前面部追踪工作不适用于无干扰的增强现实（AR）眼镜，或无法追踪任意面部运动。本工作中，我们展示了一个名为 SpecTracle 的新系统，其使用安装在 Hololens 面罩旁的两个广角摄像头追踪用户的面部运动。我们的系统避免使用延伸至面部前方的摄像头，极大提升了将全脸追踪集成到低剖面外形中的可行性。我们还证明，处理广角摄像头的基于神经网络的模型可在移动 GPU 上以每秒 24 帧（fps）实时运行，并以用户无关模型追踪面部不同部位的独立运动。使用简短的个性化校准后，系统追踪性能相比用户无关模型提升 42.3%。
引用
@article{arxiv.2308.07502,
title = {SpecTracle: Wearable Facial Motion Tracking from Unobtrusive Peripheral Cameras},
author = {Yinan Xuan and Varun Viswanath and Sunny Chu and Owen Bartolf and Jessica Echterhoff and Edward Wang},
journal= {arXiv preprint arXiv:2308.07502},
year = {2023}
}