DiversiGATE：面向可靠大语言模型的综合框架
计算与语言
2023-06-28 v2 人工智能
摘要
本文提出 DiversiGATE，一个统一整合多种大语言模型（LLM）验证方法的框架。该框架由两大核心组件构成：多样化（Diversification）与聚合（Aggregation），为现有验证方法（如 Self-Consistency、Math Prompter 与 WebGPT）提供整体视角。此外，我们提出一种符合 DiversiGATE 框架的新型“SelfLearner”模型，该模型能从自身输出中学习并随时间精炼性能，从而提升准确率。为评估 SelfLearner 的有效性，我们开展了一系列严谨实验，包括合成数据测试及在 GSM8K 等流行算术推理基准上的测试。结果表明，我们的方法优于传统 LLM，在 GSM8K 基准上取得从 54.8% 到 61.8% 的显著提升。
引用
@article{arxiv.2306.13230,
title = {DiversiGATE: A Comprehensive Framework for Reliable Large Language Models},
author = {Shima Imani and Ali Beyram and Harsh Shrivastava},
journal= {arXiv preprint arXiv:2306.13230},
year = {2023}
}