DIPPER：面向推理任务生成大型语言模型集团的多样化提示
计算与语言
2025-10-28 v2 人工智能
机器学习
多智能体系统
摘要
大型语言模型（LLM），尤其是较小规模的模型，仍在复杂推理任务中表现不佳。虽然推理时提示可以引导推理过程，但现有方法往往依赖顺序查询。集体方法为性能提升提供了可行之路，尤其考虑到近期批量推理速度的提升。本工作引入DIPPER，一种新颖的、无需训练的框架，将单个LLM转化为有效的推理时集体。通过并行输入优化且多样化的提示集合，DIPPER可引发多样化的推理路径，从而实现性能提升。我们在推理基准测试中进行了实证研究，例如在MATH测试中，DIPPER集体（通过单个模型并行提示）由三个Qwen2-MATH-1.5B实例组成，优于更大的7B模型。
引用
@article{arxiv.2412.15238,
title = {Dipper: Diversity in Prompts for Producing Large Language Model Ensembles in Reasoning tasks},
author = {Gregory Kang Ruey Lau and Wenyang Hu and Diwen Liu and Jizhuo Chen and See-Kiong Ng and Bryan Kian Hsiang Low},
journal= {arXiv preprint arXiv:2412.15238},
year = {2025}
}
备注
Accepted to EMNLP 2025 Main Conference