FactorizePhys：远程生理感知中多维注意力的矩阵分解

远程光电容积描记术可从成像中非侵入性地提取血容量脉冲信号，将时空数据转换为时间序列信号。端到端rPPG方法的进展专注于这一转换，其中注意力机制对特征提取至关重要。然而，现有方法在空间、时间和通道维度上独立计算注意力。在这里，我们提出了因子化自注意力模块，它使用非负矩阵分解从体素嵌入中联合计算多维注意力。为了证明FSAM的有效性，我们开发了FactorizePhys，一个用于从原始视频帧估计血容量脉冲信号的端到端3D-CNN架构。我们的方法巧妙地分解体素嵌入，以实现全面的空间、时间和通道注意力，增强通用信号提取任务的性能。此外，我们将FSAM部署在现有的基于2D-CNN的rPPG架构中，以展示其多功能性。FSAM和FactorizePhys与代表不同架构和注意力机制的最先进rPPG方法进行了全面评估。我们进行了消融研究以调查FSAM的架构决策和超参数。在四个公开数据集上的实验以及学习到的时空特征的直观可视化证实了FSAM的有效性以及在估计rPPG信号方面增强的跨数据集泛化能力，表明其作为多维注意力机制的更广泛潜力。代码可在 https://github.com/PhysiologicAILab/FactorizePhys 获取。