Graphix-T5：将预训练 Transformer 与图感知层混合用于文本到 SQL 解析
计算与语言
2023-01-19 v1 数据库
摘要
文本到SQL解析任务旨在将自然语言问题转换为可执行的SQL查询，近年来受到越来越多的关注，因为它可以帮助终端用户无需技术背景即可高效地从数据库中提取重要信息。文本到SQL解析的主要挑战之一是领域泛化，即如何很好地泛化到未见过的数据库。最近，预训练的文本到文本Transformer模型，即T5，尽管并非专为文本到SQL解析设计，已在针对领域泛化的标准基准上取得了最先进的性能。在本工作中，我们探索进一步用专为文本到SQL解析设计的组件来增强预训练T5模型的方法。此类组件有望将结构归纳偏置引入文本到SQL解析器，从而提升模型在（可能是多跳的）推理上的能力，这对生成结构丰富的SQL至关重要。为此，我们提出了一种新架构GRAPHIX-T5，一种将标准预训练Transformer模型由若干特别设计的图感知层增强的混合模型。大量实验与分析证明了GRAPHIX-T5在四个文本到SQL基准：SPIDER、SYN、REALISTIC和DK上的有效性。GRAPHIX-T5以显著优势超越所有其他基于T5的解析器，实现了新的最先进性能。值得注意的是，GRAPHIX-T5-large在精确匹配（EM）准确率上比原始T5-large高出5.7%，在执行准确率（EX）上高出6.6%。这甚至分别在EM上超越T5-3B达1.2%，在EX上超越1.5%。
引用
@article{arxiv.2301.07507,
title = {Graphix-T5: Mixing Pre-Trained Transformers with Graph-Aware Layers for Text-to-SQL Parsing},
author = {Jinyang Li and Binyuan Hui and Reynold Cheng and Bowen Qin and Chenhao Ma and Nan Huo and Fei Huang and Wenyu Du and Luo Si and Yongbin Li},
journal= {arXiv preprint arXiv:2301.07507},
year = {2023}
}
备注
Accepted to AAAI 2023 main conference (oral)