基于面部动作单元的面瘫自动评估
计算机视觉与模式识别
2022-03-31 v2
摘要
面神经麻痹是一种突发性的单侧面神经无力或瘫痪，病因不明。自动评估面瘫严重程度有助于全球患者的诊断与治疗。在这项工作中，我们开发并实验了一种用于评估面瘫严重程度的新型模型。为此，我们将一种有效的面部动作单元 (AU) 检测技术纳入我们的模型，其中 AU 指用于描述几乎每一种解剖学上可能的面部表情的一组独特面部肌肉运动。本文中，我们提出一种用于面部 AU 检测的新型自适应局部-全局关系网络 (ALGRNet)，并用它来分类面瘫严重程度。ALGRNet 主要由三个新颖结构组成：(i) 基于检测到的关键点学习自适应肌肉区域的自适应区域学习模块；(ii) 建模局部 AU 间潜在关系的 skip-BiLSTM；(iii) 探究局部与全局人脸间互补性的特征融合与精炼模块。在两个 AU 基准（即 BP4D 和 DISFA）上的定量结果表明，我们的 ALGRNet 能取得有前景的 AU 检测精度。我们通过将 ALGRNet 迁移到由医学专业人员收集并标注的面瘫数据集，进一步证明了其在面瘫评估应用中的有效性。
引用
@article{arxiv.2203.01800,
title = {Automatic Facial Paralysis Estimation with Facial Action Units},
author = {Xuri Ge and Joemon M. Jose and Pengcheng Wang and Arunachalam Iyer and Xiao Liu and Hu Han},
journal= {arXiv preprint arXiv:2203.01800},
year = {2022}
}
备注
12 pages, 5 figures, resubmitted to IEEE Transactions on Affective Computing