KDPhys：一种面向实时视频-based 生理测量的注意力引导的 3D 到 2D 知识蒸馏
图像与视频处理
2026-01-05 v1
摘要
基于摄像头的生理监测，如远程光谱心动图 (rPPG)，通过标准数字摄像头传感器捕获血液容积变化引起皮肤光学特性的细微变化。疫情期间，对实时、非接触式生理测量的需求显著增加，以支持远程医疗和远程健康监测应用。在本工作中，我们提出了一种基于注意力的知识蒸馏 (KD) 框架，称为 KDPhys，用于从人脸视频序列中提取 rPPG 信号。该方法通过有效的 3D 到 2D 特征蒸馏，将来自 3D 卷积神经网络 (CNN) 教师模型中的全局时序表示蒸馏到轻量级 2D CNN 学生模型。本文鉴于是首次将知识蒸馈应用于 rPPG 领域。此外，我们引入了 incorporating 形状和时间的失真损失 (DILATE)，联合考虑 rPPG 信号的形态学和时序特征。在三个基准数据集上进行了大量定性和定量评估。该方法在计算复杂度上显著降低，仅使用了现有方法的一半参数，运算速度快 56.67%。凭借仅 0.23M 参数，本方法相较于最新方法实现了 18.15% 的平均绝对误差 (MAE) 降低，平均 MAE 为 1.78 bpm。此外，在多样化环境条件和活动情景下的额外实验进一步证明了该方法的鲁棒性和适应性。
引用
@article{arxiv.2601.00714,
title = {KDPhys: An Attention Guided 3D to 2D Knowledge Distillation for Real-time Video-Based Physiological Measurement},
author = {Nicky Nirlipta Sahoo and VS Sachidanand and Matcha Naga Gayathri and Balamurali Murugesan and Keerthi Ram and Jayaraj Joseph and Mohanasankar Sivaprakasam},
journal= {arXiv preprint arXiv:2601.00714},
year = {2026}
}
备注
This paper has been published in Biomedical Signal Processing and Control