PhysMLE：可泛化且融合先验的多任务远程生理测量
计算机视觉与模式识别
2024-10-30 v2
摘要
远程光电容积描记术（rPPG）已被广泛应用于从面部视频中测量心率。为了提高算法的泛化能力，领域泛化（DG）在 rPPG 中引起了越来越多的关注。然而，当 rPPG 被扩展到同时测量更多生命体征（例如呼吸和血氧饱和度）时，实现泛化性带来了新的挑战。尽管不同生理信号之间共享的部分特征可以有益于多任务学习，但稀疏且不平衡的目标标签空间会在任务特定特征学习上带来跷跷板效应。为了解决这个问题，我们设计了一种用于多任务远程生理测量的端到端低秩专家混合模型（PhysMLE），该模型基于多个低秩专家和一个新颖的路由机制，从而使模型能够熟练地处理任务内部的规范性和任务之间的相关性。此外，我们引入了任务间来自生理学的先验知识，以克服现实世界多任务生理测量下标签空间的不平衡。为了进行公平和全面的评估，本文提出了一个大规模多任务泛化基准，称为多源同义领域泛化（MSSDG）协议。在 MSSDG 和数据集内部进行的广泛实验表明了 PhysMLE 的有效性和效率。此外，我们还收集了一个新的数据集并公开提供，以满足 MSSDG 的需求。
引用
@article{arxiv.2405.06201,
title = {PhysMLE: Generalizable and Priors-Inclusive Multi-task Remote Physiological Measurement},
author = {Jiyao Wang and Hao Lu and Ange Wang and Xiao Yang and Yingcong Chen and Dengbo He and Kaishun Wu},
journal= {arXiv preprint arXiv:2405.06201},
year = {2024}
}