Memory-Constrained Fine-Tuning 的训练动力学研究
机器学习
2026-02-23 v2 人工智能
摘要
深度神经网络的内存高效训练日益重要，因为模型规模不断增大，而部署环境又施加了严格的资源限制。我们提出了 TraDy，这是一种新颖的迁移学习方案，基于两个关键见解：层的重要性对于更新而言是架构相关的且可先验确定的，而动态随机通道选择相对于静态方法提供了更好的梯度逼近。我们引入一种动态通道选择方法，在预选层之间进行随机通道重抽样。广泛的实验表明，TraDy 在各种下游任务和架构上实现了状态的最佳性能，同时保持严格的内存限制，实现了最高达 99% 的激活稀疏度、95% 的权重导数稀疏度和 97% 的权重导数计算 FLOPs 减少。
引用
@article{arxiv.2510.19675,
title = {Study of Training Dynamics for Memory-Constrained Fine-Tuning},
author = {Aël Quélennec and Nour Hezbri and Pavlo Mozharovskyi and Van-Tam Nguyen and Enzo Tartaglione},
journal= {arXiv preprint arXiv:2510.19675},
year = {2026}
}