PhysFlow：通过条件归一化流实现肤色迁移以进行远程心率估计
计算机视觉与模式识别
2024-08-01 v1
摘要
近年来，深度学习方法在基于相机的远程生理信号估计方面取得了令人瞩目的结果，明显超越了传统方法。然而，深度神经网络的性能和泛化能力严重依赖于能够真正代表实际应用中遇到的不同变化因素的丰富训练数据。不幸的是，许多当前的远程光电容积脉搏波（rPPG）数据集缺乏多样性，特别是在较深肤色方面，导致现有rPPG方法的性能存在偏差。为缓解这种偏差，我们引入了PhysFlow，一种利用条件归一化流增强远程心率估计中肤色多样性的新方法。PhysFlow采用端到端训练优化，使得在原始数据和生成数据上同时训练监督rPPG方法。此外，我们使用直接从面部视频中提取的CIELAB色彩空间肤色特征对模型进行条件化，无需肤色标签。我们在公开可用的数据集UCLA-rPPG和MMPD上验证了PhysFlow，结果表明心率误差降低，特别是在深肤色方面。此外，我们展示了其在不同数据驱动的rPPG方法中的通用性和适应性。
引用
@article{arxiv.2407.21519,
title = {PhysFlow: Skin tone transfer for remote heart rate estimation through conditional normalizing flows},
author = {Joaquim Comas and Antonia Alomar and Adria Ruiz and Federico Sukno},
journal= {arXiv preprint arXiv:2407.21519},
year = {2024}
}