SELF-[IN]CORRECT: 大语言模型难以区分自身生成的响应
人工智能
2024-09-09 v3 计算与语言
机器学习
摘要
大语言模型能否持续改进其先前输出以获得更好结果？要成立，大语言模型需要比生成初始响应更擅长区分先前生成的备选方案。我们探索了这一假设在实践中的有效性。我们首先制定了一个统一框架，允许我们比较任何模型在任何任务上的生成和判别能力。在我们对几个开源和工业大语言模型的实验分析中，我们观察到模型在区分先前生成的备选方案方面并不比生成初始响应更可靠。这一发现挑战了大语言模型可能仅通过自身判断就能提升性能的观点。
引用
@article{arxiv.2404.04298,
title = {SELF-[IN]CORRECT: LLMs Struggle with Discriminating Self-Generated Responses},
author = {Dongwei Jiang and Jingyu Zhang and Orion Weller and Nathaniel Weir and Benjamin Van Durme and Daniel Khashabi},
journal= {arXiv preprint arXiv:2404.04298},
year = {2024}
}