探索低资源抽取式问答中的语言模型泛化
计算与语言
2024-12-13 v2
摘要
本文针对大语言模型 (LLM) 在域漂移情境下的抽取式问答 (EQA) 能力进行探讨，即在无需额外领域内训练的情况下，LLM 能否以零样本方式泛化到需要特定知识（如医学和法律）的领域？为此，我们设计了一系列实验以实证解释性能差距。我们的发现表明：(a) LLM 在闭合域的数据集需求方面存在挑战，难以检索长答案片段；(b) 尽管某些 LLM 在整体性能上表现突出，但在满足基本要求方面存在弱点，即难以区分领域特定词义，这与预处理决策有关；(c) 增加模型参数并不总是有效用于跨域泛化；(d) 闭合域数据集与开放域 EQA 数据集在数量上存在显著差异，当前 LLM 难以应对。我们的发现指出了改进现有 LLM 的重要方向。
引用
@article{arxiv.2409.18446,
title = {Exploring Language Model Generalization in Low-Resource Extractive QA},
author = {Saptarshi Sengupta and Wenpeng Yin and Preslav Nakov and Shreya Ghosh and Suhang Wang},
journal= {arXiv preprint arXiv:2409.18446},
year = {2024}
}
备注
Accepted to COLING 2025