SEER:一种用于混合问答上下文学习中示例选择的背包方法
计算与语言
2023-10-23 v2
摘要
跨混合上下文的问答是一项复杂任务,需要以多种方式组合从非结构化文本和结构化表格中提取的信息。近来,上下文学习(In-Context Learning)在推理任务上展现出显著的性能提升。在该范式中,大语言模型基于一小组支持性示例进行预测。上下文学习的性能严重依赖于支持性示例的选择过程,尤其在 HybridQA 中,考虑推理链的多样性和混合上下文的大尺寸变得至关重要。本工作中,我们提出混合推理示例选择(SEER),一种用于选择兼具代表性和多样性的示例集合的新方法。SEER 的关键新颖之处在于将示例选择表述为背包整数线性规划。背包框架提供了灵活性,可纳入优先选择具有期望属性示例的多样性约束,以及确保提示大小符合给定容量预算的容量约束。SEER 在 FinQA 和 TAT-QA 这两个 HybridQA 真实基准上的有效性得到了证明,其优于先前的示例选择方法。
引用
@article{arxiv.2310.06675,
title = {SEER : A Knapsack approach to Exemplar Selection for In-Context HybridQA},
author = {Jonathan Tonglet and Manon Reusens and Philipp Borchert and Bart Baesens},
journal= {arXiv preprint arXiv:2310.06675},
year = {2023}
}
备注
Camera ready revision for EMNLP 2023 main conference. Code available at https://github.com/jtonglet/SEER