Bi-TTA：基于远程生理测量的双向测试时适配器

远程光电容积图谱（rPPG）正因其非侵入性方法而日益受到关注，后者仅通过摄像头即可监测生理信号。尽管具有巨大的潜力，但rPPG模型对新型未见域的适应性仍受阻碍，这源于生理信号对环境的敏感性。为此，我们首次在rPPG中引入测试时适应（TTA），使预训练模型能够在推理期间适应目标域，规避了因隐私考量而无需注释或源数据的问题。特别是仅利用用户面部视频流作为可访问的目标域数据，rPPG模型通过对每个所遇到的单个实例进行调优来进行调整。然而，1）TTA算法主要为分类任务设计，难以适用于因监督不足而不适用于rPPG等回归任务。2）以单实例方式调优预训练模型会引入变异性和不稳定性，给有效筛选域相关特征与域无关特征、同时保留已学习信息带来挑战。为此，我们提出了Bi-TTA，即一种基于专家知识的双向测试时适配器框架。具体而言，利用两个专家知识先验提供自我监督，Bi-TTA主要由两个模块构成：一种采用锐度感知最小化的前瞻性适应（PA）模块，用于消除域无关噪声，增强适应过程的稳定性和有效性；以及一种逆向稳定（RS）模块，用于动态强化关键已学习模型参数，防止因过拟合或灾难性遗忘导致性能下降。为此，我们建立了一个规模庞大的rPPG任务基准，以遵循TTA协议。实验结果表明，我们的方法在与最先进技术相比方面显著优异。