对齐 GAP：基于先验的统一多任务遥感生理测量框架，用于域泛化与个性化
计算机视觉与模式识别
2025-06-23 v1
摘要
多源语义域泛化（Multi-source synsemantic domain generalization, MSSDG）用于多任务遥感生理测量旨在提升这些指标的泛化性，正受到日益关注的注意。然而，诸如部分标注和环境噪声等挑战可能破坏任务特定的准确性。同时，鉴于实时适应对于个性化产品的必要性，MSSDG 后的测试时个性化适应（TTPA）也值得探索，而泛化方法与个性化方法之间的差距巨大且难以融合。因此，我们提出了采用生物特征和遥感光学血流计（remote photoplethysmography, rPPG）中的先验（Priors）构建统一框架（GAP）来实现 MSSDG 和 TTPA。我们首先将面部视频中的信息解耦为不变语义、individual bias 和噪声。然后，应用包含先验和我们观察的多个模块，用于不同阶段和不同面部信息。随后，基于实现泛化和个性化的不同原理，我们的框架可在多任务遥感生理估计下同时解决 MSSDG 和 TTPA，仅需最小调整。我们将 MSSDG 基准扩展至 TTPA 协议，并在六个公开数据集上引入了新的真实驾驶数据集，包含完整标注。大量实验验证了我们的方案，代码及新数据集也将公开发布。
引用
@article{arxiv.2506.16160,
title = {Align the GAP: Prior-based Unified Multi-Task Remote Physiological Measurement Framework For Domain Generalization and Personalization},
author = {Jiyao Wang and Xiao Yang and Hao Lu and Dengbo He and Kaishun Wu},
journal= {arXiv preprint arXiv:2506.16160},
year = {2025}
}