语言模型接地到知识库中的数据分布瓶颈
计算与语言
2024-02-12 v3 人工智能
摘要
语言模型(LMs)已在理解和生成自然语言与形式语言方面展现出非凡能力。尽管有这些进展,它们与大规模知识库(KBs)等真实世界环境的集成仍是一个欠开发领域,影响了诸如语义解析等应用并沉溺于“幻觉”信息。本文是一项实验性研究,旨在揭示 LMs 在执行知识库问答(KBQA)任务时所遇到的鲁棒性挑战。该研究涵盖了训练与推断间数据分布不一致的情境,例如对未见领域的泛化、对不同语言变体的适应,以及跨不同数据集的可迁移性。我们全面的实验揭示,即便采用我们所提出的数据增强技术,先进的小规模与大规模语言模型在各维度上均表现不佳。尽管 LM 是一项有前景的技术,当前形态在处理复杂环境时的鲁棒性脆弱且实用性有限,原因在于数据分布问题。这呼吁未来关于数据收集与 LM 学习范式的研究。
引用
@article{arxiv.2309.08345,
title = {Data Distribution Bottlenecks in Grounding Language Models to Knowledge Bases},
author = {Yiheng Shu and Zhiwei Yu},
journal= {arXiv preprint arXiv:2309.08345},
year = {2024}
}