解决领域冲突以实现可泛化的远程生理测量
计算机视觉与模式识别
2024-04-12 v1
摘要
远程光电容积脉搏波描记法(rPPG)技术因其对各种生理指标的无创监测而日益流行,使其在多媒体交互、医疗保健和情感分析中得到广泛应用。现有的 rPPG 方法利用多个数据集进行训练以增强模型的泛化能力。然而,它们往往忽略了不同数据集之间潜在的冲突问题,例如:(1)由生理信号标签与人脸视频在实例层面上的不同相位延迟引起的标签冲突,以及(2)由头部运动、光照变化、肤色类型等引起的分布偏移所产生的属性冲突。为了解决这一问题,我们引入了领域和谐框架。具体而言,我们首先提出了一种和谐相位策略,以消除不确定的相位延迟并保留生理信号的时间变化。接下来,我们设计了一种和谐超平面优化方法,该方法减少了不相关的属性偏移,并鼓励模型向拟合更多有效场景的全局解进行优化。我们的实验表明,DOHA 在多种协议下显著提升了现有方法的性能。我们的代码可在 https://github.com/SWY666/rPPG-DOHA 获取。
引用
@article{arxiv.2404.07855,
title = {Resolve Domain Conflicts for Generalizable Remote Physiological Measurement},
author = {Weiyu Sun and Xinyu Zhang and Hao Lu and Ying Chen and Yun Ge and Xiaolin Huang and Jie Yuan and Yingcong Chen},
journal= {arXiv preprint arXiv:2404.07855},
year = {2024}
}
备注
Accepted by ACM MM 2023