对话建模中局部性与各向同性的学习
计算与语言
2023-01-31 v2 信息检索
机器学习
摘要
现有的对话建模方法借助 Transformer 和大规模预训练语言模型，已在多种对话任务上取得了令人瞩目的性能。然而，近期一些研究指出，这些方法生成的上下文表示存在各向异性问题。本文发现，所生成的表示同时也不具备对话特性，在上下文建模阶段丢失了对话结构信息。为此，我们明确了对话建模中的两个性质，即局部性（locality）与各向同性（isotropy），并提出了一种简单的对话表示校准方法，称为 SimDRC，以构建各向同性且具对话特征的空间。实验结果表明，在自动与人工评价指标上，我们的方法在三项对话任务中均显著优于当前最先进的模型。更为深入的分析进一步证实了我们所提方法的有效性。
引用
@article{arxiv.2205.14583,
title = {Learning Locality and Isotropy in Dialogue Modeling},
author = {Han Wu and Haochen Tan and Mingjie Zhan and Gangming Zhao and Shaoqing Lu and Ding Liang and Linqi Song},
journal= {arXiv preprint arXiv:2205.14583},
year = {2023}
}
备注
To appear in ICLR 2023