SOTA Text-to-SQL 模型的领域自适应:经验与挑战
计算与语言
2023-12-12 v1
摘要
近期 Text-to-SQL 任务取得了许多先进进展,其中 Picard 模型是在 Spider 数据集竞赛中表现最好的模型之一。然而,通过领域自适应将 Text-to-SQL 系统应用于实际用例仍然是一个严峻挑战。我们分析了基础 T5 语言模型和 Picard 在不同于 Spider 数据集的查询结构上的表现,我们在 Spider 数据和独立数据库(DB)上对基础模型进行了微调。为了避免在推理期间在线访问数据库内容,我们还提出了一种替代方法,利用基于规则的方法对输入问题中的值进行消歧,该方法依赖于输入问题语义概念的中间表示。在我们的结果中,我们展示了在哪些情况下 T5 和 Picard 能够提供良好的性能,分享了所获得的经验,并讨论了当前的领域自适应挑战。
引用
@article{arxiv.2312.05448,
title = {Domain Adaptation of a State of the Art Text-to-SQL Model: Lessons Learned and Challenges Found},
author = {Irene Manotas and Octavian Popescu and Ngoc Phuoc An Vo and Vadim Sheinin},
journal= {arXiv preprint arXiv:2312.05448},
year = {2023}
}