基于主题覆盖的上下文学习示例检索
计算与语言
2025-09-17 v1
摘要
上下文学习的有效性在很大程度上依赖于选择能为给定测试输入提供所有必要信息的示例。为实现这一点，识别并覆盖细粒度的知识需求至关重要。然而，先前的方法通常仅基于嵌入相似性或生成概率来检索示例，导致产生无关或冗余的样本。在本文中，我们提出了 TopicK，一个基于主题覆盖的检索框架，该框架选择示例以全面覆盖与测试输入和模型均相关的主题级知识。具体而言，TopicK 估计输入所需的主题，并评估模型在这些主题上的知识。随后，TopicK 迭代地选择引入先前未覆盖的所需主题的示例，其中模型在这些主题上表现出较低的主题知识。我们通过在多个数据集以及开源和闭源 LLM 上的广泛实验，验证了 TopicK 的有效性。我们的源代码可在 https://github.com/WonbinKweon/TopicK_EMNLP2025 获取。
引用
@article{arxiv.2509.12451,
title = {Topic Coverage-based Demonstration Retrieval for In-Context Learning},
author = {Wonbin Kweon and SeongKu Kang and Runchu Tian and Pengcheng Jiang and Jiawei Han and Hwanjo Yu},
journal= {arXiv preprint arXiv:2509.12451},
year = {2025}
}
备注
EMNLP 2025 Main