Mixtraining：计算与性能之间的更佳权衡
机器学习
2025-03-06 v2 人工智能
摘要
在标准监督学习（SL）之前引入自监督学习（SSL）已成为提高模型性能、特别是在数据有限的场景中广泛使用的策略。然而，这种方法在计算和性能之间引入了权衡：虽然 SSL 有助于表示学习，但需要单独的、通常耗时的训练阶段，增加计算开销并限制了在资源受限环境中的效率。为此，我们提出了 MixTraining—a一种新框架，通过在统一的 Mixtraining 训练阶段交叉多个 SSL 和 SL epoch， featuring 对两种学习目标之间平滑过渡。MixTraining 通过增强 SSL 和 SL 之间的协同作用来提高准确率，并整合共享的计算步骤以减少计算开销。MixTraining 具有广泛适用性，可应用于单任务和多任务学习场景。广泛的实验表明，MixTraining 在计算和性能之间的权衡优于传统管道，在 ViT-Tiny 模型下，在 TinyImageNet 数据集上实现了最高 8.81% 的绝对准确率提升（18.89% 的相对准确率提升），并以最高 1.29 倍的速度加速训练。
关键词
引用
@article{arxiv.2502.19513,
title = {Mixtraining: A Better Trade-Off Between Compute and Performance},
author = {Zexin Li and Jiancheng Zhang and Yufei Li and Yinglun Zhu and Cong Liu},
journal= {arXiv preprint arXiv:2502.19513},
year = {2025}
}