基于 AUDITED 的简易对话系统

我们设计了一个多模态对话系统，用于处理由文本、图像或双模态组成的对话话语。我们利用辅助无监督视觉与文本数据（AUDITED）。为提升基于文本任务的性能，我们使用目标句从英文到法文的翻译来形成辅助监督。对于基于图像的任务，我们采用 DeepFashion 数据集，在其中寻找 MMD 数据正、负目标图像的最近邻图像。这些最近邻构成最近邻嵌入，为目标图像提供外部上下文。我们形成两种创建邻域嵌入向量的方法，即硬分配邻域嵌入（NEHA）与软分配邻域嵌入（NESA），它们为每个目标图像生成上下文子空间。随后，这些子空间由我们的流水线作为目标数据的上下文进行学习。我们还提出一个在基于图像与基于文本任务间切换的判别器。我们在大规模多模态对话数据集（MMD）与 SIMMC 上展示了相对于基线的提升。