通过循环少量样本实现无训练 LLM 验证
机器学习
2025-10-02 v2 人工智能
摘要
尽管 LLM 已取得显著的性能，但其推理过程的内在随机性和不同结论 presents 重要挑战。多数投票或 Best-of-N 结合外部验证模型以寻找多个 LLM 输出中最有前景的解决方案已被探索，但这些方法具有有限的适用性或额外训练步骤的成本。为此，我们提出了一种新型且有效的框架，将少量样本循环用于验证 LLM 输出 (ReFeri)。我们的关键思想是，除了常规的少量样本提示设置外，还利用给定的少量样本来评估目标查询的候选输出。具体而言，ReFeri 通过结合两种不同分数（灵感来自贝叶斯规则）来评估生成的输出，随后通过少量额外的 LLM 推断选择同时具有确定性和情境一致性的候选方案。针对三个不同的 LLM 和七个多样化任务的实验表明，我们的方法显著提高了 LLM 的准确率——通过有效的响应选择实现平均提升 4.8%，无需额外训练。
引用
@article{arxiv.2506.17251,
title = {Training-free LLM Verification via Recycling Few-shot Examples},
author = {Dongseok Lee and Jimyung Hong and Dongyoung Kim and Jaehyung Kim},
journal= {arXiv preprint arXiv:2506.17251},
year = {2025}
}