torchtune: 基于 PyTorch 的原生后训练库

现代大型语言模型（LLM）通常需要多阶段训练管线才能实现卓越的下游性能，其中后训练是适配开源权重模型的主要接口。我们介绍 torchtune，这是一个基于 PyTorch 的库，旨在简化 LLM 的后训练生命周期，使其能够高效进行微调、实验和部署导向的工作流程。与许多现有微调框架不同，这些框架通常以易用性、特定配方或硬件效率为优化目标，牺牲透明度和可扩展性。相反，torchtune 强调模块化、可定制性和对底层 PyTorch 组件的直接访问。本文介绍 torchtune 的设计原则，描述其模型构建器、训练配方和分布式训练堆栈如何体现这些原则，并评估了该库在代表性后训练场景中的表现。我们比较了包括 Axolotl 和 Unsloth 在内的流行微调框架，结果表明 torchtune 在多数场景下提供了出色的性能和内存效率，同时保持足够灵活，以支持快速的研究迭代。这些结果将 torchtune 定位为可复现 LLM 后训练研究的实用基础。