预训练智能体与世界模型的缩放定律
机器学习
2024-12-19 v2 人工智能
摘要
具身智能体的性能已通过增加模型参数、数据集规模和计算量得到提升。这在从机器人到视频游戏的多个领域中得到验证，当使用离线数据集上的生成式学习目标（预训练）来建模智能体的行为（模仿学习）或其环境（世界模型）时。本文更精确地刻画了规模在这些任务中的作用。超越“越大越好”的简单直觉，我们表明在语言建模中发现的同类幂律也出现在世界建模和模仿学习中（例如，损失与最优模型大小之间的关系）。然而，这些定律的系数受到分词器、任务和架构的显著影响——这对模型和数据的最优规模配置具有重要意义。
引用
@article{arxiv.2411.04434,
title = {Scaling Laws for Pre-training Agents and World Models},
author = {Tim Pearce and Tabish Rashid and Dave Bignell and Raluca Georgescu and Sam Devlin and Katja Hofmann},
journal= {arXiv preprint arXiv:2411.04434},
year = {2024}
}