通过合成信号引导的特征学习实现全测试时远程光电容积脉搏波估计
计算机视觉与模式识别
2024-08-16 v3
摘要
许多远程光电容积脉搏波(rPPG)估计模型在训练域中取得了令人鼓舞的性能，但通常无法在目标域中准确估计生理信号或心率(HR)。因此，在离线训练阶段采用域泛化(DG)或域适应(DA)技术，通过利用所有可用的源域数据，使模型适应未观察到的或已观察到的目标域。然而，在 rPPG 估计问题中，适应后的模型在估计具有显著域差异的目标数据时通常会遇到挑战。相比之下，测试时适应(TTA)通过在线适应无标签的目标数据，无需参考任何源数据，使模型能够在各种未见域中自适应地估计 rPPG 信号。在本文中，我们首先建立了一个新的 TTA-rPPG 基准，该基准包含各种域信息和心率分布，以模拟现实世界 rPPG 估计中遇到的挑战。接下来，我们提出了一种新颖的合成信号引导的 rPPG 估计框架，以解决 TTA 阶段的遗忘问题，并增强预训练 rPPG 模型的适应能力。为此，我们开发了一种合成信号引导的特征学习方法，通过合成伪 rPPG 信号作为伪真实值，来引导条件生成器生成潜在的 rPPG 特征。此外，我们设计了一种有效的基于谱的熵最小化技术，以鼓励 rPPG 模型学习新的目标域信息。生成的 rPPG 特征和合成的 rPPG 信号都防止了 rPPG 模型对目标数据过拟合和遗忘先前获得的知识，同时也广泛覆盖了各种心率(HR)分布。我们在 TTA-rPPG 基准上的大量实验表明，所提出的方法取得了优越的性能。
引用
@article{arxiv.2407.13322,
title = {Fully Test-Time rPPG Estimation via Synthetic Signal-Guided Feature Learning},
author = {Pei-Kai Huang and Tzu-Hsien Chen and Ya-Ting Chan and Kuan-Wen Chen and Chiou-Ting Hsu},
journal= {arXiv preprint arXiv:2407.13322},
year = {2024}
}