ToTMNet：用于轻量级远程光电容积描记法的FFT加速Toeplitz时间混合网络
计算机视觉与模式识别
2026-01-08 v1
摘要
远程光电容积描记法（rPPG）从商用相机拍摄的面部视频中估计血容量脉搏（BVP）波形。尽管最近的深度模型相比经典信号处理方法提高了鲁棒性，但许多方法增加了计算成本和参数数量，并且基于注意力的时间建模引入了相对于时间长度的二次方缩放。本文提出了ToTMNet，一种轻量级rPPG架构，用FFT加速的Toeplitz时间混合层取代了时间注意力。Toeplitz算子使用与片段长度成线性关系的参数数量提供全序列时间感受野，并可通过循环嵌入和基于FFT的卷积以近线性时间应用。ToTMNet将全局Toeplitz时间算子集成到一个紧凑的门控时间混合器中，该混合器结合了局部深度可分离时间卷积分支和门控全局Toeplitz混合，从而在仅拥有63k参数的情况下实现高效的长程时间滤波。在两个数据集UBFC-rPPG（真实视频）和SCAMPS（合成视频）上的实验表明，ToTMNet以紧凑的设计实现了强大的心率估计精度。在UBFC-rPPG数据集内评估中，ToTMNet达到了1.055 bpm的MAE，Pearson相关系数为0.996。在合成到真实（SCAMPS到UBFC-rPPG）的设置中，ToTMNet达到了1.582 bpm的MAE，Pearson相关系数为0.994。消融结果证实，门控机制对于有效利用全局Toeplitz混合至关重要，尤其是在域偏移情况下。本预印本研究的主要局限性在于仅使用了两个数据集；尽管如此，结果表明Toeplitz结构的时间混合是rPPG中注意力的一种实用且高效的替代方案。
引用
@article{arxiv.2601.04159,
title = {ToTMNet: FFT-Accelerated Toeplitz Temporal Mixing Network for Lightweight Remote Photoplethysmography},
author = {Vladimir Frants and Sos Agaian and Karen Panetta},
journal= {arXiv preprint arXiv:2601.04159},
year = {2026}
}