睿者何故聪慧至此？！多模态多方对话中的讽刺解释

讽刺等间接言语在人类交流中实现了一系列话语目标。尽管修辞语言的间接性使说话者能够达成特定语用目标，但 AI 智能体难以理解此类人类交流的特性。虽然讽刺识别在对话分析中已是成熟课题，但对于对话系统真正把握对话内在含义并生成恰当回应而言，仅检测讽刺是不够的；解释其潜在讽刺内涵以捕捉本质至关重要。本文研究讽刺对话的话语结构，并提出新任务——对话中的讽刺解释（SED）。该任务置于多模态与混合语言环境下，旨在生成对讽刺对话的自然语言解释。为此，我们构建了支持该任务的新数据集 WITS。我们提出 MAF（模态感知融合），一种多模态上下文感知注意力与全局信息融合模块，以捕获多模态性并用于 WITS 基准测试。所提注意力模块超越传统多模态融合基线，在几乎所有指标上均报告最佳性能。最后，我们从定量与定性两方面开展详细分析。