少数样本学习中提取证据的检索与理解
计算与语言
2025-02-21 v1
摘要
对齐的一个关键方面是正确使用文档内证据来构建文档级决策。我们分析了在few-shot设置下，大型语言模型在证据检索与解读之间的关系。具体而言，我们衡量了模型预测错误与针对五个数据集中人类标注的提取证据检索错误的关联程度，采用两种流行的封闭式专有模型。我们进行两种消融研究，以探讨标签预测和证据检索错误可归因于相关证据质量的情况。我们发现，模型预测与证据检索错误之间存在强烈的经验关系，但证据检索错误大多不与证据解读错误相关——这为以该机制为基础的下游应用带来了希望。
引用
@article{arxiv.2502.14095,
title = {Retrieving Versus Understanding Extractive Evidence in Few-Shot Learning},
author = {Karl Elbakian and Samuel Carton},
journal= {arXiv preprint arXiv:2502.14095},
year = {2025}
}
备注
9 pages, 8 figures, Accepted to AAAI 2025 Main Conference (AI Alignment Track)