STICKERCONV：从头生成多模态共情回应
计算与语言
2024-12-20 v2 人工智能
摘要
贴纸虽然在增强在线互动中的共情沟通方面被广泛认可，但在当前的共情对话研究中仍未被充分探索，这主要是由于缺乏全面的数据集。在本文中，我们介绍了STICKERCONV智能体（Agent4SC），它利用协作智能体交互来真实模拟人类使用贴纸的行为，从而增强多模态共情沟通。在此基础上，我们开发了一个多模态共情对话数据集STICKERCONV，包含12.9K个对话会话、5.8K个独特贴纸和2K个多样化对话场景。该数据集作为多模态共情生成的基准。为进一步推进，我们提出了PEGS（感知与生成贴纸），一个多模态共情回应生成框架，并辅以一套基于LLM的全面共情评估指标。我们的实验证明了PEGS在生成上下文相关且情感共鸣的多模态共情回应方面的有效性，有助于推进更细致入微、更具吸引力的共情对话系统的发展。
引用
@article{arxiv.2402.01679,
title = {STICKERCONV: Generating Multimodal Empathetic Responses from Scratch},
author = {Yiqun Zhang and Fanheng Kong and Peidong Wang and Shuang Sun and Lingshuai Wang and Shi Feng and Daling Wang and Yifei Zhang and Kaisong Song},
journal= {arXiv preprint arXiv:2402.01679},
year = {2024}
}