细粒度损失截断的益处：摘要中事实性的案例研究

文本摘要与简化是人工智能应用最广泛的领域之一。然而，为这些任务开发的模型往往容易产生幻觉，这可能是由于在未对齐数据上进行训练导致的。解决此问题的一种有效方法是损失截断（Kang and Hashimoto, 2020），这是一种修改标准对数损失以在训练期间自适应地移除噪声样本的方法。然而，我们发现仅使用 LT 在各种数据集上仍会产生大量幻觉实体。我们研究了事实性与非事实性样本之间底层损失的行为，以理解和改进 LT 的性能。我们证明，当噪声目标具有更高 NLL 损失这一底层假设不满足时，LT 的性能受限，并发现实体间的词级 NLL 为区分事实性提供了更好的信号。我们利用这一点提出了一种细粒度 NLL 损失和细粒度数据清洗策略，并观察到在某些数据集上减少幻觉的改进。我们的工作可在 https://https://github.com/yale-nlp/fine-grained-lt 获取。