温顺模型将继承地球

过去十年间，少数公司实现了 AI 系统的惊人扩张，导致 AI 模型性能的不平等。本文论证，与普遍直觉相反，算力扩展的收益递减将导致 AI 模型能力的趋同。换言之，温顺模型（计算预算有限的模型）将继承地球，逼近整体最佳模型的性能水平。我们构建了一个模型，阐明在固定分布的下一词元目标下，原始算力的边际能力回报大幅缩减。鉴于当前的扩展实践，我们认为这种收益递减足够显著，以至于即使某些公司扩展其模型的速度比其他组织呈指数级快，最终在能力上也几乎不具优势。作为论证的一部分，我们基于基准数据和理论性能模型的证据，给出了训练损失差异等代理指标能够捕捉重要能力度量的若干原因。此外，我们分析了 AI 模型能力差异随时间变化的实证数据。最后，鉴于温顺模型能力的日益增强，我们认为 AI 战略与政策需要重新审视，并概述了这一转变将影响的领域。