ExpLLM: 面向面部表情识别的链条思考方法

面部表情识别（FER）是多媒体领域中的关键任务，对多个领域具有重要意义。然而，准确识别面部表情必需分析其成因。当前方法（如基于面部动作单元（AUs）的方法）通常提供AU名称和强度，但缺乏对AU之间及其与整体表情之间关系的洞察。本文提出一种新方法ExpLLM，通过大语言模型生成面部表情识别的准确链式思考（chain of thought, CoT）。具体而言，我们从三个关键维度设计了CoT机制：关键观察、整体情感解释和结论。关键观察描述AU的名称、强度及其关联情感；整体情感解释基于多个AU及其相互作用进行分析，识别主导情感及其关系；结论则呈现由前述分析得出的最终表情标签。进一步引入Exp-CoT引擎，用于构建表情CoT并生成训练ExpLLM的指令-描述数据。在RAF-DB和AffectNet数据集上进行的广泛实验表明，ExpLLM超越当前最先进的FER方法。ExpLLM在表情CoT生成方面也超越最新的GPT-4o，尤其在识别微表情时，GPT-4o经常失败。