PhysNeXt:用于远程动脉血压测量的双分支结构注意力融合网络
计算机视觉与模式识别
2026-03-23 v1
摘要
远程动脉血压测量(rPPG)通过分析面部皮肤由心脏脉动引起的细微颜色变化来实现对心率及其他生命体征的无接触测量。当前rPPG方法主要基于从原始视频的端到端建模或中间的时空图( STMap )表示。前者保留完整的时空信息,可捕获细微的心跳相关信号,但也引入了来自运动伪影和照明变化的大量噪声。后者将多个面部兴趣区域的时序颜色变化堆叠成紧凑的二维表示,显著减少数据量和计算复杂度,尽管可能丢失一些高频细节。为有效整合两者的互补优势,我们提出了PhysNeXt,一个双输入深度学习框架,联合利用视频帧和STMap表示。通过包含时空差异建模单元、跨模态交互模块和基于结构注意力的解码器,PhysNeXt协同增强了脉冲信号提取的鲁棒性。实验结果表明,PhysNeXt在面临挑战条件下实现了更稳定和细粒度的rPPG信号恢复,验证了联合建模视频和STMap表示的有效性。该代码将对外公开。
引用
@article{arxiv.2603.19752,
title = {PhysNeXt: Next-Generation Dual-Branch Structured Attention Fusion Network for Remote Photoplethysmography Measurement},
author = {Junzhe Cao and Bo Zhao and Zhiyi Niu and Dan Guo and Yue Sun and Haochen Liang and Yong Xu and Zitong YU},
journal= {arXiv preprint arXiv:2603.19752},
year = {2026}
}