是我还是你？最先进的对话模型无法保持身份一致性
计算与语言
2021-12-14 v1
摘要
最先进的对话模型在事实准确性和自相矛盾方面仍经常出错。据观察，它们未能在对话过程中保持角色身份；更具体地说，可能会承担其对话者的角色。在这项工作中，我们形式化并量化了这一缺陷，并通过人工评估实验证明这确实是一个问题。相比之下，我们表明专门训练用于识别说话者的判别模型可以表现良好；并且进一步，这些模型可用作自动评价指标。最后，我们评估了多种缓解方法，包括模型架构、训练协议和解码策略的更改。根据人工标注者的评估，我们最好的模型将身份错误问题减少了近 65%，同时提高了趣味性。尽管有这些结果，我们发现保持角色身份仍然是一个具有挑战性的问题。
引用
@article{arxiv.2112.05843,
title = {Am I Me or You? State-of-the-Art Dialogue Models Cannot Maintain an Identity},
author = {Kurt Shuster and Jack Urbanek and Arthur Szlam and Jason Weston},
journal= {arXiv preprint arXiv:2112.05843},
year = {2021}
}