双语义知识组合的多模态对话系统
计算与语言
2023-05-18 v1 多媒体
摘要
文本回复生成是多模态任务型对话系统的一项核心任务。尽管现有研究已取得丰硕进展，但仍存在两个关键局限：1）关注属性知识而忽略能够揭示不同实体间关联从而提升回复生成的关系知识；2）仅进行基于交叉熵损失的输出层监督，缺乏表示层正则化。为应对这些局限，我们设计了一种新颖的多模态任务型对话系统（命名为 MDS-S2）。具体而言，MDS-S2 首先从知识库中同时获取与上下文相关的属性知识和关系知识，其中非直观的关系知识通过 n-hop 图游走提取。此后，考虑到属性知识与关系知识有助于应对不同层次的问题，我们在 MDS-S2 中设计了一个多级知识组合模块以获得潜在的组合回复表示。此外，我们设计了一组潜在查询变量，分别从组合回复表示与真实回复表示中蒸馏语义信息，从而进行表示层语义正则化。在公开数据集上的大量实验验证了我们所提 MDS-S2 的优越性。我们已发布代码与参数以促进研究社区发展。
引用
@article{arxiv.2305.09990,
title = {Dual Semantic Knowledge Composed Multimodal Dialog Systems},
author = {Xiaolin Chen and Xuemeng Song and Yinwei Wei and Liqiang Nie and Tat-Seng Chua},
journal= {arXiv preprint arXiv:2305.09990},
year = {2023}
}
备注
SIGIR 2023