受控幻觉：从噪声数据中学习忠实生成
计算与语言
2020-10-13 v1
摘要
神经文本生成（数据到文本或文本到文本）在训练数据充足时表现出卓越性能，但对许多应用而言并非如此。为收集大规模平行语料，常使用启发式规则，但其不可避免地引入噪声，例如输出中无法由输入解释的短语。因此，模型会习得噪声并可能产生幻觉——生成流畅但无依据的文本。我们的贡献是一种简单而强大的技术，将此类幻觉视为生成文本中可控制的方面，既不丢弃任何输入，也不修改模型架构。在尤其嘈杂的 WikiBio 语料（Lebret 等，2016）上，我们从自动与人工评估两方面证明了该技术的有效性。
引用
@article{arxiv.2010.05873,
title = {Controlled Hallucinations: Learning to Generate Faithfully from Noisy Data},
author = {Katja Filippova},
journal= {arXiv preprint arXiv:2010.05873},
year = {2020}
}