MONET：面向边缘到数据中心的神经网络训练建模与优化
机器学习
2026-03-17 v1
摘要
虽然硬件-软件协同设计显著提升了神经网络推理的效率，但建模训练阶段仍是一个关键且备受忽视的挑战。训练工作负载提出了独特的约束，尤其是关于内存占用和反向传播复杂度，这些约束使得现有以推理为导向的工具难以捕捉。本文引入MONET框架，用于建模异构数据流加速器上的神经网络训练。MONET基于Stream框架构建，后者经过实验验证，能够对在异构数据流加速器上进行神经网络推理（包括层融合）进行建模。借助MONET，我们探索了ResNet-18和小型GPT-2的训练设计空间，展示了该框架建模训练工作流程并发现更优硬件架构的能力。我们进一步检查了由于设计空间的扩大在神经网络训练中变得更加复杂的问题，例如确定最佳的层融合配置。此外，我们利用遗传算法发现了激活检查点（activation checkpointing）的有趣权衡。我们的发现凸显了面向可扩展且高效深度学习部署的端到端硬件-软件协同设计的重要性。
引用
@article{arxiv.2603.15002,
title = {MONET: Modeling and Optimization of neural NEtwork Training from Edge to Data Centers},
author = {Jérémy Morlier and Robin Geens and Stef Cuyckens and Arne Symons and Marian Verhelst and Vincent Gripon and Mathieu Léonardon},
journal= {arXiv preprint arXiv:2603.15002},
year = {2026}
}
备注
12 pages, 12 figures