Nano-EmoX：从感知到共情的多模态情感智能统一
人工智能
2026-04-14 v3 计算机视觉与模式识别
摘要
情感多模态语言模型(MLMs)的开发长期受限于低层感知与高层交互之间的鸿沟，导致情感能力碎片化和泛化受限。为弥合这一差距，我们提出了一个受认知启发的三层次层次结构，将情感任务按照其认知深度-感知、理解和交互-组织，并为推进情感建模提供统一的概念基础。在该层次结构指导下，我们引入Nano-EmoX，一个小规模多任务MLM，以及P2E(感知到共情)，一个基于课程的训练框架。Nano-EmoX集成了一套全模态编码器，包括增强面部编码器和融合编码器，以捕获关键多模态情感线索并提高跨任务可迁移性。输出通过异构适配器投影到统一语言空间，使轻量级语言模型能够处理多样化的情感任务。同时，P2E通过逐步培育情感智能来实现感知与以链式思维驱动的共情对齐。据我们了解，Nano-EmoX是第一个规模紧凑(22亿)的MLM，能够在三个层次结构水平上统一六个核心情感任务，实现多个基准上的最先进或高度竞争的性能，展现出卓越的效率和泛化能力。代码已公开 https://github.com/waHAHJIAHAO/Nano-EmoX。
引用
@article{arxiv.2603.02123,
title = {Nano-EmoX: Unifying Multimodal Emotional Intelligence from Perception to Empathy},
author = {Jiahao Huang and Fengyan Lin and Xuechao Yang and Chen Feng and Kexin Zhu and Xu Yang and Zhide Chen},
journal= {arXiv preprint arXiv:2603.02123},
year = {2026}
}
备注
This paper has been accepted by CVPR 2026