情感树导航：层次化超bolic RAG 用于多模态情感识别
机器学习
2026-05-20 v1 计算机视觉与模式识别
摘要
多模态情感识别旨在整合文本、音频和视频源以理解人类情感状态。虽然多模态大语言模型在多模态推理方面表现出色，但通常将情感类别视为独立标签，忽略了人类心理学中丰富的层次化分类学。此外，缺乏外部上下文知识会使其高度易受噪声线索的误解释，进一步复杂化了精细情感分类。为此，我们提出了HyperEmo-RAG，一种检索增强生成框架，利用结构化情感知识库。我们的框架引入了两个关键创新：1)层次化超bolic grounding。认识到情感分类学中内在的层次化树形结构，我们联合将层次化情感标签和多模态样本嵌入到连续的超bolic空间(庞加莱球)中，设计了一种从粗到细的分层束搜索 deliberation 过程，逐步检索样本。2)结构化证据注入。基于检索到的证据，我们构建证据图并通过Tree-Aware注意力机制和EmotionGraphFormer将结构化知识作为显式认知上下文注入LLM，保持图结构信息的完整性。实验表明，HyperEmo-RAG显著优于现有方法。
引用
@article{arxiv.2605.18884,
title = {Navigating the Emotion Tree: Hierarchical Hyperbolic RAG for Multimodal Emotion Recognition},
author = {Zeheng Wang and Bo Zhao and Yijie Zhu and Zhishu Liu and Hui Ma and Ruixin Zhang and Shouhong Ding and Qianyu Xie and Zitong Yu},
journal= {arXiv preprint arXiv:2605.18884},
year = {2026}
}