通过子空间优化实现Transformer的高效资源受限训练
机器学习
2026-03-04 v3
摘要
随着人工智能日益深入日常生活，能源消耗和数据隐私已成为紧迫问题。设备端学习直接在边缘设备上训练模型，降低能源消耗并保护数据隐私。然而，现代神经网络规模的扩大为设备端训练带来了重大障碍。尽管先前工作集中于紧凑的卷积架构，我们则将基于子空间的训练应用于Transformer模型。基于模型的核心信息位于固定子空间这一理念，我们提出了权重-激活子空间迭代（WASI），该方法通过将训练限制在该子空间中来缓解反向传播的内存瓶颈，并提升Transformer模型的推理效率。实验结果表明，WASI在保持与原始训练相当精度的同时，将内存使用量降低高达62倍，计算代价（FLOPs）降低高达2倍。在Raspberry Pi 5上，WASI实现了约1.4倍的训练和推理速度提升。代码地址：https://github.com/Le-TrungNguyen/ICLR2026-WASI.git。
引用
@article{arxiv.2510.09160,
title = {Efficient Resource-Constrained Training of Transformers via Subspace Optimization},
author = {Le-Trung Nguyen and Enzo Tartaglione and Van-Tam Nguyen},
journal= {arXiv preprint arXiv:2510.09160},
year = {2026}
}
备注
ICLR 2026 Oral