运动至关重要：用于改进相机生理测量的神经运动迁移
计算机视觉与模式识别
2023-11-07 v4
摘要
基于相机的生理测量机器学习模型可能因缺乏代表性训练数据而泛化能力弱。在试图从视频中恢复微弱的心跳脉冲时，身体运动是最显著的噪声来源之一。我们探索将运动迁移作为一种数据增强形式，以引入运动变化同时保留感兴趣的生理变化。我们调整一种神经视频合成方法来增强用于远程光体积描记(rPPG)任务的视频，并研究运动增强在1)运动幅度和2)运动类型方面的影响。在公开可用数据集的运动增强版本上训练后，我们在PURE数据集上使用多种最先进方法展示了相比现有跨数据集结果47%的提升。我们还展示了在五个基准数据集上的跨数据集结果，使用TS-CAN(一种神经rPPG估计方法)显示出高达79%的改进。我们的发现说明了运动迁移作为一种数据增强技术对改进基于相机的生理感知模型泛化能力的实用性。我们在此发布将运动迁移作为数据增强技术用于三个公开可用数据集UBFC-rPPG、PURE和SCAMPS的代码，以及在运动增强数据上预训练的模型：https://motion-matters.github.io/
引用
@article{arxiv.2303.12059,
title = {Motion Matters: Neural Motion Transfer for Better Camera Physiological Measurement},
author = {Akshay Paruchuri and Xin Liu and Yulu Pan and Shwetak Patel and Daniel McDuff and Soumyadip Sengupta},
journal= {arXiv preprint arXiv:2303.12059},
year = {2023}
}
备注
Accepted to WACV 2024, 17 pages, 6 figures, 15 tables