UniEmo：基于可学习专家查询统一情感理解与生成

情感理解和生成往往被视为独立的任务，尽管它们本质上是互补的且可以相互增强。本文提出了 UniEmo，一个无缝集成这两个任务的统一框架。关键挑战在于情感的抽象本质， necessitating 从两方面受益于两项任务的视觉表征的提取。为此，我们提出了一种带有可学习专家查询的分层情感理解链，逐渐提取多尺度情感特征，从而为统一提供基础步骤。同时，我们将这些专家查询和情感表征融合，以引导扩散模型生成情感诱导图像。为增强生成情感图像的多样性和忠实度，我们进一步引入情感相关系数和情感条件损失以促进融合过程。这一步促进了由理解引导的生成的融合和对齐。相反，我们演示了联合训练允许生成组件为理解部分提供隐式反馈。此外，我们提出了一种新型数据过滤算法，用于选择由经过训练的模型生成的高质量和多样化情感图像，这显式地反馈到理解部分。总之，这些生成驱动的双向反馈过程增强了模型的理解能力。广泛的实验表明，UniEmo 在情感理解和生成任务中均显著优于最先进的方法。该方法的代码可在 https://github.com/JiuTian-VL/UniEmo 获取。