DeInfoReg：提高训练吞吐量的解耦学习框架
机器学习
2025-07-16 v2 人工智能
分布式、并行与集群计算
摘要
本文介绍了一种名为 Decoupled Supervised Learning with Information Regularization (DeInfoReg) 的新方法，通过将长梯度流转换为多个较短的梯度流，从而缓解梯度消失问题。结合流水线策略，DeInfoReg 能够实现跨多个 GPU 的模型并行，从而显著提升训练吞吐量。我们将所提方法与标准反向传播及其他梯度流分解技术进行比较。广泛的实验在多样化的任务和数据集上表明，DeInfoReg 在性能和噪声抗性方面均优于传统 BP 模型，能够高效利用并行计算资源。可重复性代码已公开：https://github.com/ianzih/Decoupled-Supervised-Learning-for-Information-Regularization/。
引用
@article{arxiv.2506.18193,
title = {DeInfoReg: A Decoupled Learning Framework for Better Training Throughput},
author = {Zih-Hao Huang and You-Teng Lin and Hung-Hsuan Chen},
journal= {arXiv preprint arXiv:2506.18193},
year = {2025}
}