通过格莱斯数量准则审视“我不知道”问题
计算与语言
2021-04-23 v2
摘要
我们通过格莱斯会话准则(1975)的视角来考虑神经生成对话模型的内在评价。基于数量准则(信息充分),我们提出相对话语数量(RUQ)来诊断“我不知道”问题,即对话系统产生通用回复的现象。这一受语言学启发的RUQ诊断将通用回复的模型得分与参考回复的得分进行比较。我们发现,对于合理的基线模型,多数情况下“我不知道”比参考回复更受偏好,但通过超参数调优可将其降至不到5%。RUQ允许对“我不知道”问题进行直接分析,而此前工作虽已应对但未加分析该问题。
引用
@article{arxiv.2010.12786,
title = {Measuring the `I don't know' Problem through the Lens of Gricean Quantity},
author = {Huda Khayrallah and João Sedoc},
journal= {arXiv preprint arXiv:2010.12786},
year = {2021}
}
备注
to appear at NAACL 2021