情感与意图引导的多模态学习用于贴纸响应选择
机器学习
2025-11-25 v1 人工智能
摘要
贴纸在线通信中广泛用于传递情感和隐含意图。贴纸响应选择（SRS）任务旨在根据对话情境选择最合适的贴纸。然而，现有方法通常仅依靠语义匹配，分别建模情感和意图线索，容易在情感与意图错位时导致选择不匹配。为解决此问题，我们提出情感与意图引导的多模态学习（EIGML）。该框架是首个联合建模情感与意图的方法，有效减少孤立建模导致的偏差，显著提升选择准确率。具体而言，我们引入双层对比框架，以进行同模态和跨模态对齐，确保情感和意图特征在同一模态内以及跨模态间保持一致表示。此外，我们设计了意图-情感引导的多模态融合模块，通过三个组件实现情感和意图信息的渐进式集成：情感引导的意图知识选择、意图-情感引导注意力融合以及相似度调整匹配机制。该设计将丰富且有效的信息注入模型，使模型对对话具有更深层次的理解，从而提升贴纸选择性能。在两个公开的SRS数据集上进行实验，结果表明EIGML consistently 超越了最先进的基线方法，实现了更高的准确率和更好的情感与意图特征理解。代码已提供于补充材料中。
引用
@article{arxiv.2511.17587,
title = {Emotion and Intention Guided Multi-Modal Learning for Sticker Response Selection},
author = {Yuxuan Hu and Jian Chen and Yuhao Wang and Zixuan Li and Jing Xiong and Pengyue Jia and Wei Wang and Chengming Li and Xiangyu Zhao},
journal= {arXiv preprint arXiv:2511.17587},
year = {2025}
}