从少到多：通过迭代优化与生成实现自我改进的多示例推理器
机器学习
2025-02-04 v1 人工智能
机器学习
摘要
长上下文大语言模型 (LLMs) 的最新进展催生了多示例上下文学习 (ICL) 这一新兴范式，在该范式中，观察到在上下文中将示例数量扩展到远超传统少样本设置可以带来性能提升。然而，尽管前景广阔，但哪些方面主导了这些收益，以及简单地扩展到更多示例是否是改进多示例 ICL 的最有效方法，目前尚不清楚。在这项工作中，我们首先对驱动多示例 ICL 的因素进行了分析，我们发现：1) 多示例性能通常仍可归因于少数几个不成比例地具有影响力的示例；2) 识别这些有影响力的示例（“优化”）并使用它们作为演示来重新生成新示例（“生成”）可以带来进一步的改进。受这些发现的启发，我们提出了 BRIDGE，这是一种在优化步骤和生成步骤之间交替的算法，优化步骤使用贝叶斯优化来发现有影响力的示例集，生成步骤则重用该集合，将示例的推理路径自动扩展回多示例范畴。在不同规模的 Gemini、Claude 和 Mistral LLMs 上，我们展示了 BRIDGE 在包括符号推理、数值推理和代码生成在内的多种任务上带来了显著改进。
引用
@article{arxiv.2502.00330,
title = {From Few to Many: Self-Improving Many-Shot Reasoners Through Iterative Optimization and Generation},
author = {Xingchen Wan and Han Zhou and Ruoxi Sun and Hootan Nakhost and Ke Jiang and Sercan Ö. Arık},
journal= {arXiv preprint arXiv:2502.00330},
year = {2025}
}
备注
Expanded version of the ICLR 2025 paper