KNN-LM 不能改善开放式文本生成
计算与语言
2023-05-25 v1
摘要
在本文中，我们研究了基于插值的检索增强语言模型（LM）的生成质量。这些方法以 KNN-LM 为代表，将 LM 对下一个词预测的分布与针对给定前缀从最相关检索中形成的分布进行插值。虽然 KNN-LM 及相关方法在困惑度上取得了令人印象深刻的降低，但我们发现它们在开放式生成质量上并未展现出相应的提升，这通过自动评价指标（如 MAUVE）和人工评价均得到验证。深入探究后，我们发现：在 WikiText-103 测试集中，对于大多数词元，与基线 Transformer LM 相比，与检索分布插值实际上增加了困惑度，尽管由于较少部分词元在插值后困惑度急剧下降，整体困惑度更低。然而，在推理时解码长序列时，这一较小子集上的显著改进被大多数词元上略差的预测所淹没。此外，我们发现随着生成序列变长，检索分布的熵比基础 LM 的熵增长更快，这表明当使用模型生成的文本作为查询时检索可靠性更低（即存在暴露偏差）。我们希望我们的分析能激发未来关于检索增强语言模型的改进解码算法和插值策略的工作。
引用
@article{arxiv.2305.14625,
title = {KNN-LM Does Not Improve Open-ended Text Generation},
author = {Shufan Wang and Yixiao Song and Andrew Drozdov and Aparna Garimella and Varun Manjunatha and Mohit Iyyer},
journal= {arXiv preprint arXiv:2305.14625},
year = {2023}
}