生成式对话模型的编码器表示是否编码了充足的任务信息？
计算与语言
2021-06-22 v1
摘要
在数据驱动的方法中，预测对话中的下一轮话语依赖于对用户输文本入的编码，以生成恰当且相关的回复。尽管所生成语言的语义与句法质量常被评估，但输入的编码表示却往往未被评估。由于编码器表示对于预测恰当回复至关重要，评估编码器表示是一个具挑战性却重要的问题。本文中，我们表明通过人工或自动指标生成文本的评估不足以恰当评估对话模型语言理解的可靠性，并为此提出一组探针任务，用于评估对话模型中常用不同语言编码器的表示。实验观察到，部分探针任务较易学习，而部分即使对复杂模型架构也较难学习。并且，实验表明基于 RNN 的架构在文本生成的自动指标上表现低于 Transformer 模型，但在探针任务上优于 Transformer 模型，说明 RNN 可能比 Transformer 更好地保留任务信息。
引用
@article{arxiv.2106.10622,
title = {Do Encoder Representations of Generative Dialogue Models Encode Sufficient Information about the Task ?},
author = {Prasanna Parthasarathi and Joelle Pineau and Sarath Chandar},
journal= {arXiv preprint arXiv:2106.10622},
year = {2021}
}
备注
Accepted at SIGDial 2021. arXiv admin note: substantial text overlap with arXiv:2008.10427