AutoReply：利用判别性回复内省式检测对话中的无意义内容
计算与语言
2022-11-24 v1 人工智能
摘要
现有方法构建独立的分类器来检测对话中的无意义内容。在本文中，我们表明，无需外部分类器，对话模型可以通过计算指示劣质消息的回复的可能性，内省式地检测其自身消息中的错误。例如，如果一个智能体认为其对话伙伴可能对某候选消息回复“我不理解”，那么该消息可能无意义，因此应选择替代消息。我们在一个来自游戏 Diplomacy 的数据集上评估了我们的方法，该数据集包含大量基于游戏状态、现有模型会犯许多错误的长对话。我们首先表明，在如 Diplomacy 般复杂的应用中，手工设计的回复对于检测无意义内容的任务是有效的。然后我们设计了 AutoReply，一种在给定少量标注对话样本的情况下自动搜索此类判别性回复的算法。我们发现，AutoReply 生成的回复优于手工设计的回复，并与经过精心微调的大型监督模型表现相当。结果还表明，仅使用单条回复且无需太多计算开销，也能较好地检测对话无意义内容。
引用
@article{arxiv.2211.12615,
title = {AutoReply: Detecting Nonsense in Dialogue Introspectively with Discriminative Replies},
author = {Weiyan Shi and Emily Dinan and Adi Renduchintala and Daniel Fried and Athul Paul Jacob and Zhou Yu and Mike Lewis},
journal= {arXiv preprint arXiv:2211.12615},
year = {2022}
}