DQ-LoRe：基于双查询与低秩近似重排序的上下文学习框架
计算与语言
2026-01-12 v6
摘要
自然语言处理近期的进展主要由大语言模型（LLM）推动，已展现出其基于上下文学习的卓越能力。在思维链（CoT）范式中使用中间推理步骤来引导 LLM 处理复杂推理任务，是一条颇有前景的途径。然而，核心挑战在于为促成上下文学习而有效地筛选示例。在本研究中，我们引入一种利用双查询与低秩近似重排序（DQ-LoRe）的框架，以自动为上下文学习挑选示例。双查询首先查询 LLM 以获取 LLM 生成的知识（如 CoT），随后通过问题与知识共同查询检索器以获得最终示例。此外，对于第二次查询，LoRe 采用降维技术来精炼示例选择，确保与输入问题的知识紧密对齐。通过大量实验，我们证明 DQ-LoRe 在 GPT-4 的示例自动选择上显著优于先前最先进的方法，将性能从 92.5% 提升至 94.2%。我们的综合分析进一步揭示，DQ-LoRe 在性能与适应性方面持续优于基于检索的方法，尤其在具有分布偏移特征的场景中。DQ-LoRe 推进了上下文学习的边界，并为应对复杂推理挑战开辟了新途径。我们的代码发布于 https://github.com/menik1126/DQ-LoRe。
引用
@article{arxiv.2310.02954,
title = {DQ-LoRe: Dual Queries with Low Rank Approximation Re-ranking for In-Context Learning},
author = {Jing Xiong and Zixuan Li and Chuanyang Zheng and Zhijiang Guo and Yichun Yin and Enze Xie and Zhicheng Yang and Qingxing Cao and Haiming Wang and Xiongwei Han and Jing Tang and Chengming Li and Xiaodan Liang},
journal= {arXiv preprint arXiv:2310.02954},
year = {2026}
}
备注
Accepted in ICLR 2024