通过解决ToTTo数据集中的输入问题提高神经表格到文本输出的事实准确性
计算与语言
2024-04-08 v1
摘要
神经表格到文本模型倾向于产生幻觉，生成包含事实错误的文本。我们研究了输出中的此类错误是否可以追溯到输入问题。我们手动标注了多个模型在ToTTo数据集政治领域生成的1,837个文本。我们识别出导致许多输出错误的输入问题，并表明修复这些输入可将事实错误减少52%至76%（取决于模型）。此外，我们观察到模型在处理以非标准方式结构化的表格输入时存在困难，特别是当输入缺乏清晰的行和列值，或者列标题未正确映射到相应值时。
引用
@article{arxiv.2404.04103,
title = {Improving Factual Accuracy of Neural Table-to-Text Output by Addressing Input Problems in ToTTo},
author = {Barkavi Sundararajan and Somayajulu Sripada and Ehud Reiter},
journal= {arXiv preprint arXiv:2404.04103},
year = {2024}
}
备注
Added link to human evaluation guidelines and error annotations