集成贝叶斯推断：利用小语言模型在画像匹配任务中达到 LLM 级准确率
计算与语言
2025-12-23 v1 人工智能
摘要
本研究探讨了小语言模型(SLM)集成在实现与专有大语言模型(LLM)相当准确率方面的潜力。我们提出了集成贝叶斯推断(EBI)，这是一种应用贝叶斯估计来结合多个 SLM 判断的新方法，使其能够突破单个模型的性能局限。我们在多种任务（日语和英语的资质评估与消费者画像分析）上的实验证明了 EBI 的有效性。值得注意的是，我们分析了将具有负 Lift 值的模型纳入集成可提升整体性能的案例，并考察了该方法在不同语言下的有效性。这些发现为在有限计算资源下构建高性能 AI 系统以及有效利用个体性能较低的模型提供了新的可能性。基于现有关于 LLM 性能评估、集成方法和开源 LLM 利用的研究，我们讨论了本方法的新颖性与重要性。
引用
@article{arxiv.2504.17685,
title = {Ensemble Bayesian Inference: Leveraging Small Language Models to Achieve LLM-level Accuracy in Profile Matching Tasks},
author = {Haru-Tada Sato and Fuka Matsuzaki and Jun-ichiro Takahashi},
journal= {arXiv preprint arXiv:2504.17685},
year = {2025}
}
备注
13 pages, 2 figures