Summer-22B：面向视频基础模型的大规模数据工程与训练系统方法

我们描述了训练 Summer-22B——这是一个从零开始开发的视频基础模型的经验。本报告记录了在从原始素材收集到功能化模型训练约 5000 万片剪辑的过程中所遇到的工程挑战、设计决策以及所学到的经验教训。我们概述了我们的方法，结合元数据驱动的数据集策展、多阶段过滤、$\mu$P 参数化和球面约束优化。我们开发了 Lavender Data 系统进行数据集管理，并采用推理感知的架构选择。我们分享了在本场景中有效的观察：数据工程耗费了大部分工作量，架构变体的差异小于我们预期的，$\mu$P 超参数迁移即使在几何约束下也显然有效。我们希望这一账户对正在进行类似项目的其他人有所帮助。