ScaMo：探索自回归运动生成模型中的缩放定律
计算机视觉与模式识别
2024-12-20 v1 机器学习
摘要
缩放定律已在自然语言处理和大量计算机视觉任务等多个领域得到验证；然而，其在运动生成中的应用仍鲜有探索。本文介绍了一个可扩展的运动生成框架，包括运动分词器Motion FSQ-VAE和文本前缀自回归Transformer。通过全面实验，我们观察到了该系统的缩放行为。我们首次确认了运动生成上下文中缩放定律的存在。具体而言，我们的结果表明，前缀自回归模型的归一化测试损失相对于计算预算遵循对数定律。此外，我们还分别确认了非词汇参数、词汇参数和数据令牌相对于计算预算的幂律关系。利用缩放定律，我们预测了计算预算为时的最优Transformer大小、词汇大小和数据需求。当使用最优模型大小、词汇大小和所需数据训练时，系统的测试损失与预测的测试损失精确吻合，从而验证了缩放定律。
引用
@article{arxiv.2412.14559,
title = {ScaMo: Exploring the Scaling Law in Autoregressive Motion Generation Model},
author = {Shunlin Lu and Jingbo Wang and Zeyu Lu and Ling-Hao Chen and Wenxun Dai and Junting Dong and Zhiyang Dou and Bo Dai and Ruimao Zhang},
journal= {arXiv preprint arXiv:2412.14559},
year = {2024}
}