集成多头卷积编码器与跨注意力以提高SPARQL查询翻译
摘要
知识图谱问答系统（KGQA）的主要任务是将用户输入问题转换为查询语法（如SPARQL）。随着Transformer和ConvS2S等现代主流编码器和解码器的兴起，许多学者将SPARQL生成的研究方向转向基于神经机器翻译（NMT）的架构或生成式AI领域的文本到SPARQL。NMT-based QA系统将知识库查询语法视为一种语言，使用NMT-based翻译模型将自然语言问题翻译为查询语法。学者们使用配备跨注意力机制的流行架构（如Transformer、ConvS2S和BiLSTM）来训练查询语法的翻译模型。为获得更好的查询结果，本文改进了ConvS2S编码器，添加了来自Transformer的多头注意力，提出一种基于n-gram语言模型的多头卷积编码器（MHC编码器）。其原理是利用具有不同感受野的卷积层捕获输入序列中的局部隐藏特征，利用多头注意力计算它们之间的依赖关系。最终我们发现，基于MHC编码器的翻译模型在其他编码器方面表现更好，在QALD-9和LC-QuAD-1.0数据集上分别获得了76.52%和83.37%的BLEU-1分数。此外，在QALD-9和LC-QuAD-1.0数据集上的端到端系统实验中，我们的系统在其他KGQA系统中取得了领先成绩，Macro F1分别达到了52%和66%。此外，实验结果表明，在有限的计算资源下，如果拥有优异的编码器-解码器架构和跨注意力，专家和学者仅使用通用嵌入即可实现相当于大型预训练模型的卓越性能。
引用
@article{arxiv.2408.13432,
title = {Integrating Multi-Head Convolutional Encoders with Cross-Attention for Improved SPARQL Query Translation},
author = {Yi-Hui Chen and Eric Jui-Lin Lu and Kwan-Ho Cheng},
journal= {arXiv preprint arXiv:2408.13432},
year = {2024}
}
备注
24 pages, 20 figures, using the engrXiv template; the full version has been submitted to ACM Transactions on Information Systems and is currently under review. (2024)