基于轨迹引导的运动感知在神经系统疾病面部表情质量评估中的应用
计算机视觉与模式识别
2025-04-17 v2
摘要
在神经系统疾病中进行面部表情质量评估(FEQA)的自动化方法对于提高诊断准确性和改善患者护理具有至关重要的作用,然而有效捕捉面部肌肉运动的细微动作与细节仍然是一个挑战。我们提出分析面部关键点轨迹,这是一种紧凑且信息丰富的表征,从高层次结构视角对这些细微运动进行编码。因此,我们引入了基于轨迹引导的运动感知转换器(TraMP-Former),这是一款新的面部表情质量评估框架,通过融合关键点轨迹特征以捕捉精细运动,同时整合来自RGB帧的视觉语义线索,最终将合并后的特征回归为质量得分。大量实验表明,TraMP-Former在包括PFED5(提升6.51%)和增强后的Toronto NeuroFace(提升7.62%)等神经系统疾病基准数据集上实现了新的状态-of-the-art性能。我们的消融研究进一步验证了关键点轨迹在FEQA中的效率和有效性。我们的代码已公开于https://github.com/shuchaoduan/TraMP-Former。
引用
@article{arxiv.2504.09530,
title = {Trajectory-guided Motion Perception for Facial Expression Quality Assessment in Neurological Disorders},
author = {Shuchao Duan and Amirhossein Dadashzadeh and Alan Whone and Majid Mirmehdi},
journal= {arXiv preprint arXiv:2504.09530},
year = {2025}
}
备注
Accepted to IEEE FG 2025 (preprint)