Blending Is All You Need：万亿参数 LLM 的更廉价、更优替代方案
计算与语言
2024-01-24 v3 人工智能
摘要
在对话式 AI 研究中，开发具有更多参数的模型是一个显著趋势，ChatGPT 等模型便是例证。虽然这些庞大的模型往往能生成越来越好的对话回复，但它们需要大量的计算资源和内存。本研究探讨了一个相关问题：多个较小模型的组合能否协同达到与单一大型模型相当或更优的性能？我们引入了一种称为“blending”的方法，这是一种简单而有效的多对话 AI 集成方法。我们的实证证据表明，当特定较小模型协同融合时，它们有可能超越或匹敌大得多的大模型的能力。例如，仅集成三个中等规模的模型（6B/13B 参数）就能媲美甚至超越像 ChatGPT（175B+ 参数）这样的大型模型的性能指标。这一假设在 Chai 研究平台上通过大量用户群进行了为期三十天的 A/B 测试，得到了严格验证。研究结果突显了“blending”策略作为增强对话 AI 有效性且不相应增加计算需求的可行方法的潜力。
引用
@article{arxiv.2401.02994,
title = {Blending Is All You Need: Cheaper, Better Alternative to Trillion-Parameters LLM},
author = {Xiaoding Lu and Zongyi Liu and Adian Liusie and Vyas Raina and Vineet Mudupalli and Yuwen Zhang and William Beauchamp},
journal= {arXiv preprint arXiv:2401.02994},
year = {2024}
}