基于大型语言模型的文本到 SQL 置信度估计
计算与语言
2025-08-21 v1 数据库
摘要
文本到 SQL 的置信度估计旨在在没有金标准答案的情况下评估模型生成的 SQL 查询的可靠性。在大型语言模型（LLM）上下文中，由于通常受限于模型权重和梯度的访问，本文研究了该问题。我们探索了两种黑箱和白箱置信度估计策略，在跨域文本到 SQL 基准测试中对其有效性进行了评估。我们的评估表明，在黑箱模型中，一致性基于的方法表现优异；在白箱设置中，基于 SQL 语法的做法在解释 LLM 概率分布时具有优势。此外，我们进一步表明，基于查询执行的结果提供的监督信号对两者的方法都有所提升。
引用
@article{arxiv.2508.14056,
title = {Confidence Estimation for Text-to-SQL in Large Language Models},
author = {Sepideh Entezari Maleki and Mohammadreza Pourreza and Davood Rafiei},
journal= {arXiv preprint arXiv:2508.14056},
year = {2025}
}