面部时空图：利用3D面部表面进行远程生理测量
计算机视觉与模式识别
2026-01-21 v1
摘要
面部远程光电动力学(rPPG)方法通过建模3D面部表面随时间的细微颜色变化来估计生理信号。然而，现有方法未能显式地将感受野与3D面部表面对齐，即rPPG信号的空间支撑。为此，我们提出了面部时空图(Facial Spatiotemporal Graph, STGraph)，一种新型表示方法，对面部颜色和结构进行3D面部网格序列编码，以实现表面对齐的时空处理。我们引入MeshPhys，一个轻量级时空图卷积网络，作用于STGraph上用于估计生理信号。跨越四个基准数据集，MeshPhys在内部分和跨数据集设置中实现了最先进或具竞争力的性能。消融研究表明，将模型感受野约束在面部表面上作为强结构性先验，而且表面对齐的3D感知节点特征对于稳健地编码面部表面颜色至关重要。综上，STGraph和MeshPhys构成了面部rPPG的一种新型、原则性的建模范式，使其能够实现稳健、可解释且可推广的估计。代码已公开 https://samcantrill.github.io/facial-stgraph-rppg/。
引用
@article{arxiv.2601.13724,
title = {Facial Spatiotemporal Graphs: Leveraging the 3D Facial Surface for Remote Physiological Measurement},
author = {Sam Cantrill and David Ahmedt-Aristizabal and Lars Petersson and Hanna Suominen and Mohammad Ali Armin},
journal= {arXiv preprint arXiv:2601.13724},
year = {2026}
}