利用合成基于视频的数据训练鲁棒深度生理测量模型
计算机视觉与模式识别
2023-11-17 v2 人工智能
摘要
监督深度学习技术的最新进展已证明，仅从人脸视频即可远程测量人体生理生命体征（如光电容积描记图、心率）的可能性。然而，这些方法的性能严重依赖于真实标注数据的可用性与多样性。但收集具备高质量标签的大规模真实世界数据通常具有挑战性且耗费资源，同时在存储个人生物特征数据时也引发隐私担忧。具有照片级真实合成虚拟人的合成基于视频的数据集（如 SCAMPS \cite{mcduff2022scamps}）被引入以缓解上述问题并提供高质量合成数据。然而，合成与真实世界数据间存在显著鸿沟，阻碍了在这些合成数据集上训练的神经网络模型的泛化能力。在本文中，我们提出若干措施将真实世界噪声加入合成生理信号及对应人脸视频。我们尝试了单独与组合的增强方法，并在三个公开真实世界数据集上评估了我们的框架。结果表明，我们能将平均绝对误差（MAE）从 6.9 降至 2.0。
引用
@article{arxiv.2311.05371,
title = {Training Robust Deep Physiological Measurement Models with Synthetic Video-based Data},
author = {Yuxuan Ou and Yuzhe Zhang and Yuntang Wang and Shwetak Patel and Daniel McDuf and Yuzhe Yang and Xin Liu},
journal= {arXiv preprint arXiv:2311.05371},
year = {2023}
}