基于指令微调的面部情感行为分析
计算机视觉与模式识别
2024-07-15 v2
摘要
面部情感行为分析（FABA）对于从图像中理解人类心理状态至关重要。然而，传统方法主要部署模型来区分离散的情感类别，缺乏针对复杂面部行为的细粒度和推理能力。多模态大语言模型（MLLMs）的出现已在通用视觉理解任务中被证明是成功的。然而，由于数据集和基准测试的稀缺、面部先验知识的忽视以及训练效率低下，直接利用 MLLMs 进行 FABA 面临挑战。为了应对这些挑战，我们引入了：(i) 用于两个 FABA 任务（例如情感和动作单元识别）的指令跟随数据集，(ii) 一个同时考虑识别和生成能力的基准 FABA-Bench 及其新指标，以及 (iii) 一个新的 MLLM“EmoLA”作为供社区使用的强基线。我们在数据集和基准测试上的举措揭示了面部情感行为的本质和原理，即细粒度的面部运动、可解释性和推理。此外，为了构建有效且高效的 FABA MLLM，我们将带有面部结构知识的面部先验专家模块和低秩自适应模块引入预训练的 MLLM。我们在 FABA-Bench 和四个常用的 FABA 数据集上进行了大量实验。结果表明，所提出的面部先验专家能够提升性能，并且 EmoLA 在我们的 FABA-Bench 上取得了最佳结果。在常用的 FABA 数据集上，EmoLA 具有竞争力，可与特定任务的 SOTA 模型相媲美。
引用
@article{arxiv.2404.05052,
title = {Facial Affective Behavior Analysis with Instruction Tuning},
author = {Yifan Li and Anh Dao and Wentao Bao and Zhen Tan and Tianlong Chen and Huan Liu and Yu Kong},
journal= {arXiv preprint arXiv:2404.05052},
year = {2024}
}
备注
V2.0, project page: https://johnx69.github.io/FABA/