AUGlasses：基于低功耗IMU的连续动作单元基于脸部重建
人机交互
2024-05-24 v1 计算机视觉与模式识别
摘要
最近的增强现实（AR）技术进步使得在智能眼镜上使用各种传感器成为可能，这对于改进虚拟社交活动中的AR体验至关重要。然而，智能眼镜的尺寸和功耗限制要求采用迷你化且低功耗的感测解决方案。AUGlasses通过在面部temporal区域放置惯性测量单元（IMU）来捕获皮肤变形，这些变形是由面部肌肉运动引起的。这些IMU信号以及历史面部动作单元（AUs）数据由基于transformer的深度学习模型处理，以实时估计AU强度，然后用于面部重建。我们的结果表明，AUGlasses以0.187（标准差0.025）的交叉用户平均绝对误差（MAE）准确预测了14个关键AU的强度（0-5比例），并实现以1.93毫米（标准差0.353）的交叉用户MAE进行面部重建。我们还集成了各种预处理和训练技术，以确保连续感知的稳健性能。微基准测试表明，系统持续地以精调的交叉用户模型进行准确的连续面部重建，AU MAE为0.35。
引用
@article{arxiv.2405.13289,
title = {AUGlasses: Continuous Action Unit based Facial Reconstruction with Low-power IMUs on Smart Glasses},
author = {Yanrong Li and Tengxiang Zhang and Xin Zeng and Yuntao Wang and Haotian Zhang and Yiqiang Chen},
journal= {arXiv preprint arXiv:2405.13289},
year = {2024}
}