批量思维：用于增强大语言模型推理的跨实例学习
人工智能
2026-05-12 v3
摘要
当前的大型语言模型推理系统独立处理查询，丢弃了诸如共享推理模式和一致性约束等有价值的跨实例信号。我们引入了批量思维（Batch-of-Thought, BoT），这是一种无需训练的方法，可针对相关查询进行联合处理，以实现跨实例学习。通过对批次进行比较分析，BoT 识别高质量推理模板，通过一致性检查检测错误，并摊薄计算成本。我们在多智能体反思架构（BoT-R）中实例化了 BoT，其中反射者执行联合评估，以释放孤立处理中无法获得的相互信息。跨三个模型家族和六个基准的实验表明，BoT-R 在准确率和置信度校准方面 consistently 提高，同时将推理成本降低最高可达 61%。我们的理论和实验分析揭示了何时以及为什么批处理感知推理受益于大语言模型系统。我们的代码可在 https://github.com/xuanyang19/BoT 上获取。
引用
@article{arxiv.2601.02950,
title = {Batch-of-Thought: Cross-Instance Learning for Enhanced LLM Reasoning},
author = {Xuan Yang and Furong Jia and Roy Xie and Xiong Xi and Hengwei Bian and Jian Li and Monica Agrawal},
journal= {arXiv preprint arXiv:2601.02950},
year = {2026}
}