对话长度对下一响应选择任务有影响吗？一项实证研究
计算与语言
2021-01-26 v1
摘要
在过去几年中，基于多语言 Transformer 的模型 BERT 的发布席卷了 NLP 社区。基于 BERT 的模型在各种 NLP 任务（包括对话任务）上取得了最先进的结果。BERT 的一个局限是缺乏处理长文本序列的能力。默认情况下，BERT 的最大 wordpiece 词元序列长度为 512。最近，随着新的基于自注意力的架构的加入，解决 BERT 处理长文本序列局限性的兴趣重新兴起。然而，关于这一局限性在对话任务方面影响的研究极少甚至没有。对话任务由于以下原因而与其他 NLP 任务有本质不同：a) 来自多个说话人的多个话语的存在，这些话语可能在不同轮次间相互关联；b) 对话的较长长度。在这项工作中，我们在四个公开可用和一个内部多轮对话数据集上，实证评估了对话长度对 BERT 模型在下一响应选择对话任务上性能的影响。我们观察到长对话对性能影响很小，甚至最简单的截断输入方法也表现得非常好。
引用
@article{arxiv.2101.09647,
title = {Does Dialog Length matter for Next Response Selection task? An Empirical Study},
author = {Jatin Ganhotra and Sachindra Joshi},
journal= {arXiv preprint arXiv:2101.09647},
year = {2021}
}