Direct-Inverse Prompting：分析 LLM 在自我改进生成中的判别能力
计算与语言
2024-07-17 v1 人工智能
机器学习
摘要
主流的 LLM 研究主要致力于增强其生成能力。然而，即便是最先进的 LLM 在其输出中也会存在不确定性，尽管在不同运行或面对输入的微小变化时会产生不同的结果，但内容实际变化并不大。给定同一输入来自同一 LLM 的多个响应，我们主张利用 LLM 的判别能力来减少这种生成不确定性，以帮助识别正确答案。具体而言，我们提出并分析了三个判别提示：直接提示、逆向提示和混合提示，以探讨封闭源和开源 LLM 在两个基准数据集上的自我改进生成性能。我们的洞见揭示了哪种判别提示最具前景以及何时使用它。据我们了解，这是首个系统性分析 LLM 判别能力以解决生成不确定性的工作。
引用
@article{arxiv.2407.11017,
title = {Direct-Inverse Prompting: Analyzing LLMs' Discriminative Capacity in Self-Improving Generation},
author = {Jihyun Janice Ahn and Ryo Kamoi and Lu Cheng and Rui Zhang and Wenpeng Yin},
journal= {arXiv preprint arXiv:2407.11017},
year = {2024}
}
备注
4 pages, 3 tables