BIS：面向商业智能场景的NL2SQL服务评估基准
人工智能
2024-10-31 v1
摘要
NL2SQL（自然语言转结构化查询语言）转换近年来在商业智能（BI）应用中得到了广泛采用。然而，现有的NL2SQL基准不适合生产级BI场景，因为它们并非针对常见的商业智能问题而设计。为填补这一空白，我们开发了一个专注于工业BI场景中典型自然语言问题的新基准。我们讨论了构建BI导向基准所面临的挑战以及现有基准的不足。此外，我们引入了反映常见BI查询的问题类别。最后，我们提出了两种新颖的语义相似度评估指标，用于评估BI应用与服务中的NL2SQL能力。
引用
@article{arxiv.2410.22925,
title = {BIS: NL2SQL Service Evaluation Benchmark for Business Intelligence Scenarios},
author = {Bora Caglayan and Mingxue Wang and John D. Kelleher and Shen Fei and Gui Tong and Jiandong Ding and Puchao Zhang},
journal= {arXiv preprint arXiv:2410.22925},
year = {2024}
}
备注
This paper has been accepted by ICSOC (International Conference on Service-Oriented Computing) 2024