面向无监督远程生理测量的自相似先验蒸馏
计算机视觉与模式识别
2024-09-24 v2 多媒体
摘要
远程光电容积脉搏波描记法（rPPG）是一种非侵入式技术，旨在捕获由心脏活动引起的血容量变化所导致的面部像素细微变化。现有大多数用于 rPPG 任务的无监督方法侧重于样本间的对比学习，而忽略了生理信号中固有的自相似先验。本文提出一种用于无监督 rPPG 估计的自相似先验蒸馏（SSPD）框架，其利用心脏活动固有的自相似性。具体而言，我们首先引入一种物理先验嵌入的增强技术，以减轻各类噪声的影响。随后，我们定制一个自相似感知网络，以提取更可靠的自相似生理特征。最后，我们设计一种分层自蒸馏范式，辅助网络从人脸视频中解耦出自相似生理模式。综合实验表明，该无监督 SSPD 框架取得了与最先进监督方法相当甚至更优的性能。同时，SSPD 在端到端模型中保持了最低的推理时间与计算开销。
引用
@article{arxiv.2311.05100,
title = {Self-similarity Prior Distillation for Unsupervised Remote Physiological Measurement},
author = {Xinyu Zhang and Weiyu Sun and Hao Lu and Ying Chen and Yun Ge and Xiaolin Huang and Jie Yuan and Yingcong Chen},
journal= {arXiv preprint arXiv:2311.05100},
year = {2024}
}