多轮文本到 SQL 评估与增强：涉及多种问题类型

最近的大型语言模型(LLM)进展显著推动了文本到 SQL 系统的发展。然而，大多数 LLM 方法仅关注 SQL 生成，忽略了现实对话查询的复杂性。这种疏忽可能导致不可靠的响应，尤其是对于无法直接用 SQL 回答的模糊问题。为弥合这一差距，我们提出了 MMSQL，一个综合性的测试套件，旨在评估 LLM 的问题分类和 SQL 生成能力，通过模拟具有多样问题类型的真实场景和多轮 Q&A 交互来实现。使用 MMSQL，我们评估了包括众多开源和闭源模型在内的流行 LLM，并确定了影响其在此类场景中表现的关键因素。此外，我们引入了一个基于 LLM 的多智能体框架，该框架使用专门的智能体来识别问题类型并确定适当的解答策略。我们的实验表明，这种方法显著增强了模型处理对话动态复杂性的能力，有效处理用户查询的多样性和复杂性。我们的数据集和代码已在 https://mcxiaoxiao.github.io/MMSQL 上公开。