TinyTorch：从原理构建机器学习系统

机器学习教育面临一个根本性差距：学生在不理解其执行系统的情况下学习算法。他们学习梯度下降而不测量内存，学习注意力机制而不分析 O(N^2) 规模，学习优化器理论而不了解为何 Adam 需要 SGD 的 3 倍内存。这种“算法-系统鸿沟”导致从业者能够训练模型，却无法调试内存故障、优化推理延迟或推理部署权衡——正是行业所需的“ML 系统工程”技能。我们提出 TinyTorch，一个包含 20 个模块的课程，通过“基于实现的系统教育”来弥合这一差距：学生以纯 Python 实现 PyTorch 的核心组件（张量、自动求导、优化器、CNN、Transformer），构建一个完整框架，其中他们调用的每个操作都是他们所编写的代码。该设计采用三种模式：逐步披露复杂度、从第一模块开始集成系统分析、以及通过重建 67 年机器学习突破（从感知机 (1958) 到 Transformer (2017) 再到 MLPerf 风格基准测试）来验证构建。仅需 4GB 内存且无需 GPU，TinyTorch 证明了无需专业硬件即可实现深入的机器学习系统理解。该课程已在开源平台 mlsysbook.ai/tinytorch 上提供。