CLARITY：面向交互式NL2SQL系统的对话语言歧义与不可答性框架与基准
计算与语言
2026-04-27 v1
摘要
在行业环境中部署的NL2SQL系统常常遇到模糊或不可答的查询，特别是在用户澄清不完整的交互场景下。现有基准通常假设单一来源的歧义并依赖用户交互进行解决，忽略了真实失败模式。我们介绍Clarity，一个用于自动生成具有多方面歧义和多样化用户行为的NL2SQL基准的框架，覆盖单轮和多轮设置。通过基于约束的管道，Clarity将可执行SQL转换为带有扎实对话延续性和模式级别元数据的模糊查询。对Spider和BIRD的实证评估显示，包括基于强大LLM的领先NL2SQL系统在多方面歧义下表现显著下降。尽管这些系统常常检测到歧义，但它们在准确局化和解决 underlying 模式层次来源方面仍感到困难。我们的结果凸显了在行业级NL2SQL系统中需要更稳健的歧义检测和解决。
引用
@article{arxiv.2604.22313,
title = {CLARITY: A Framework and Benchmark for Conversational Language Ambiguity and Unanswerability in Interactive NL2SQL Systems},
author = {Tabinda Sarwar and Farhad Moghimifar and Cong Duy Vu Hoang and Xiaoxiao Ma and Shawn Chang Xu and Fahimeh Saleh and Poorya Zaremoodi and Avirup Sil and Katrin Kirchhoff},
journal= {arXiv preprint arXiv:2604.22313},
year = {2026}
}
备注
Accepted at ACL 2026 (Industry Track)