SFDA-rPPG: 基于源域无监督自适应的遥感生理测量方法
计算机视觉与模式识别
2024-09-19 v1
摘要
遥感光电动力学图谱 (rPPG) 是一种非接触式方法，利用面部视频预测血容量变化，从而实现生理指标的测量。传统的rPPG模型在未见域上常常表现出较差的泛化能力。当前的解决方案通过域泛化 (DG) 或域适应 (DA) 来提高在目标域上的泛化能力。然而，这两种传统方法都需要同时获取源域数据和目标域数据，这在源数据访问受限的场景下无法实现；此外，获取源域数据还涉及隐私问题。本文提出了首个用于rPPG测量的源域无监督域适应基准 (SFDA-rPPG)，通过无需访问源域数据即可实现有效的域适应，从而克服了上述局限性。我们的框架集成了三分支时空一致性网络 (TSTC-Net)，以增强跨域的特征一致性。此外，我们提出了一种基于频域 Wasserstein 距离 (FWD) 的新型rPPG分布对齐损失，利用最优输运来有效对齐跨域的功率谱分布，并进一步强制三分支网络的对齐。大量的跨域实验和消融研究表明，我们所提出的方法在源域无监督域适应设置下效果显著。我们的发现表明，所提出的FWD损失在分布对齐方面具有重要贡献，为未来的研究和应用提供了有价值的参考。源代码已公开于 https://github.com/XieYiping66/SFDA-rPPG
引用
@article{arxiv.2409.12040,
title = {SFDA-rPPG: Source-Free Domain Adaptive Remote Physiological Measurement with Spatio-Temporal Consistency},
author = {Yiping Xie and Zitong Yu and Bingjie Wu and Weicheng Xie and Linlin Shen},
journal= {arXiv preprint arXiv:2409.12040},
year = {2024}
}