理解迭代提示对真实性的影响
计算与语言
2024-02-12 v1
摘要
大型语言模型 (LLM) 的发展显著改变了众多领域，提供了令人印象深刻的文本生成能力。然而，这些模型的可靠性和真实性仍然是紧迫的问题。为此，我们研究了迭代提示 (iterative prompting)，这是一种假设能优化 LLM 响应的策略，并评估其对 LLM 真实性的影响，这一领域尚未得到充分探索。我们广泛的实验深入探讨了迭代提示变体的复杂性，考察了它们对模型响应准确性和校准的影响。我们的研究结果表明，朴素的提示方法会显著削弱真实性，导致校准误差加剧。针对这些挑战，我们引入了几种旨在解决已识别问题的提示变体。这些变体相较于现有基线表现出显著改进，标志着未来研究的一个有希望的方向。我们的工作提供了对迭代提示的细致理解，并引入了增强 LLM 真实性的新方法，从而有助于开发更准确和可信的 AI 系统。
引用
@article{arxiv.2402.06625,
title = {Understanding the Effects of Iterative Prompting on Truthfulness},
author = {Satyapriya Krishna and Chirag Agarwal and Himabindu Lakkaraju},
journal= {arXiv preprint arXiv:2402.06625},
year = {2024}
}