通过大型语言模型理解情绪身体表达
人机交互
2024-12-23 v2
摘要
基于身体运动的情绪识别在人机交互中至关重要。然而，现有的情绪识别方法主要侧重于提高分类准确率，往往忽略了提供文本解释来论证其分类。在本文中，我们提出了一种由大型语言模型（LLM）驱动的情绪-动作解释器（EAI-LLM），它通过将 3D 身体运动数据作为大型语言模型（LLM）的独特输入词元，不仅能识别情绪，还能生成文本解释。具体而言，我们提出了一种专为 LLM 设计的多粒度骨架分词器，分别从骨架数据中提取时空词元和语义词元。这种方法允许 LLM 在保持稳健分类性能的同时，生成更细致的分类描述。此外，我们将骨架序列视为一种特定的语言，并提出了一种统一的骨架词元模块。该模块利用 LLM 丰富的背景知识和语言处理能力，来解决异构数据集上的联合训练挑战，从而显著提高在单个数据集上的识别准确率。实验结果表明，我们的模型实现了与现有方法相当的识别准确率。更重要的是，在 LLM 背景知识的支持下，我们的模型即使在少量标注骨架数据上训练，也能根据分类结果生成详细的情绪描述。
引用
@article{arxiv.2412.12581,
title = {Understanding Emotional Body Expressions via Large Language Models},
author = {Haifeng Lu and Jiuyi Chen and Feng Liang and Mingkui Tan and Runhao Zeng and Xiping Hu},
journal= {arXiv preprint arXiv:2412.12581},
year = {2024}
}
备注
Accepted by AAAI 2025