面向大规模 LLM 训练与研究的 PyTorch 原生框架 —— Modalities
介观与纳米尺度物理
2026-02-10 v1
摘要
当今 LLM (预) 训练和研究工作流程通常会为大规模消耗大量计算资源进行大规模消耗实验。尽管这些消耗实验的计算成本巨大，但现有开源框架为这些实验提供的工具有限，常常迫使研究人员自行编写包装器和脚本。我们提出了 Modalities，一个集成数据驱动的 LLM 研究与大规模模型训练的端到端 PyTorch 框架，从两个角度实现集成。首先，通过集成最先进的并行化策略，使其能够在万亿 token 和百亿参数规模上实现高效预训练和系统消耗。其次，Modalities 采用模块化设计，采用声明式、自包含的配置，实现难以置于现有 LLM 训练框架之外的可重复性和可扩展性。
关键词
引用
@article{arxiv.2602.08386,
title = {Highly Polarized and Long Range Dissipationless Spin Transport Due to Counterflowing Electron and Hole Edge Channels},
author = {Maxen Cosset-Chéneau and Boxuan Yang and Bart J. van Wees},
journal= {arXiv preprint arXiv:2602.08386},
year = {2026}
}