中文

从文本到 CQL:连接自然语言与语料库搜索引擎

计算与语言 2024-02-22 v1

摘要

自然语言处理(NLP)技术彻底改变了我们与信息系统交互的方式,其中一个重要焦点是将自然语言查询转换为如 SQL 等形式化查询语言。然而,对语料库查询语言(CQL)的关注较少,而它是文本语料库内语言学研究和详细分析的关键工具。手动构建 CQL 查询是一项复杂且耗时的任务,需要大量专业知识,这对研究人员和从业者都构成了显著挑战。本文提出了首个 text-to-CQL 任务,旨在将自然语言自动翻译为 CQL。我们为该任务提出了一个综合框架,包括一个专门策划的大规模数据集以及利用大语言模型的方法,以实现有效的 text-to-CQL 任务。此外,我们建立了先进的评估指标,以评估生成查询的句法和语义准确性。我们创建了创新的基于 LLM 的转换方法并进行了详细实验。结果证明了我们方法的有效性,并为 text-to-CQL 任务的复杂性提供了见解。

关键词

引用

@article{arxiv.2402.13740,
  title  = {From Text to CQL: Bridging Natural Language and Corpus Search Engine},
  author = {Luming Lu and Jiyuan An and Yujie Wang and Liner yang and Cunliang Kong and Zhenghao Liu and Shuo Wang and Haozhe Lin and Mingwei Fang and Yaping Huang and Erhong Yang},
  journal= {arXiv preprint arXiv:2402.13740},
  year   = {2024}
}