基于视频序列与远程生理测量预测的非接触式疼痛识别
计算机视觉与模式识别
2021-12-28 v2
摘要
自动疼痛识别对于医学诊断和治疗至关重要。现有工作可分为三类：评估面部外观变化、利用生理线索，或以多模态方式融合二者。然而，(1) 外观变化易受主观因素影响，阻碍了客观的疼痛识别；此外，基于外观的方法忽略了对于随时间建模表情十分重要的长程时空依赖关系；(2) 生理线索需通过在人体上贴附传感器获得，既不方便也不舒适。本文提出一种新颖的多任务学习框架，以非接触方式同时编码外观变化与生理线索用于疼痛识别。该框架通过所提出的注意力机制捕获所学外观表示的局部与长程依赖关系，并进一步由辅助任务中从视频恢复的时序注意力生理线索（远程光体积描记法，rPPG）所增强。该框架被称为 rPPG 增强的时空注意力网络（rSTAN），使我们能够在公开疼痛数据库上建立非接触式疼痛识别的当前最优（state-of-the-art）性能。这表明 rPPG 预测可作为辅助任务来促进非接触式自动疼痛识别。
引用
@article{arxiv.2105.08822,
title = {Non-contact Pain Recognition from Video Sequences with Remote Physiological Measurements Prediction},
author = {Ruijing Yang and Ziyu Guan and Zitong Yu and Xiaoyi Feng and Jinye Peng and Guoying Zhao},
journal= {arXiv preprint arXiv:2105.08822},
year = {2021}
}
备注
IJCAI 2021