PhysLLM：利用大语言模型进行跨模态远程生理感知
计算机视觉与模式识别
2026-03-06 v2
摘要
远程光电容积描记术（rPPG）能够实现非接触式生理测量，但仍极易受到光照变化、运动伪影和有限时间建模的影响。大语言模型（LLMs）擅长捕捉长程依赖关系，提供了一种潜在的解决方案，但由于其以文本为中心的设计，难以处理 rPPG 信号的连续性和噪声敏感性。为了弥合这一差距，我们引入了 PhysLLM，这是一个协同优化框架，将 LLMs 与特定领域的 rPPG 组件协同作用。具体来说，提出了文本原型引导（TPG）策略，通过将血流动力学特征投影到 LLM 可解释的语义空间中，建立跨模态对齐，有效地弥合了生理信号与语言标记之间的表示鸿沟。此外，提出了一种新颖的双域平稳（DDS）算法，通过自适应时频域特征重加权来解决信号不稳定性。最后，rPPG 任务特定提示通过生理统计、环境上下文回答和任务描述系统地注入生理先验，利用跨模态学习整合视觉和文本信息，从而能够动态适应可变光照和主体运动等具有挑战性的场景。在四个基准数据集上的评估表明，PhysLLM 达到了最先进的准确性和鲁棒性，展示了在不同光照变化和运动场景下的卓越泛化能力。源代码可在 https://github.com/Alex036225/PhysLLM 获取。
引用
@article{arxiv.2505.03621,
title = {PhysLLM: Harnessing Large Language Models for Cross-Modal Remote Physiological Sensing},
author = {Yiping Xie and Bo Zhao and Mingtong Dai and Jian-Ping Zhou and Yue Sun and Tao Tan and Weicheng Xie and Linlin Shen and Zitong Yu},
journal= {arXiv preprint arXiv:2505.03621},
year = {2026}
}
备注
Accepted by International Conference on Learning Representations (ICLR) 2026