通过神经元互动与现在网络加速训练
机器学习
2025-03-03 v3 人工智能
机器学习
摘要
当使用可学习的更新规则代替经典自适应优化器（如Adam）时，神经网络训练可以加速。然而，可学习的更新规则成本高昂且训练和使用不稳定。最近，Jang等人(2023)提出了一种更简单的方法，基于权重现在网络(WNN)加速训练。在他们的方法中，Adam用于大多数优化步骤，仅在每隔几步时，WNN nowcast(预测参数的未来)。我们改进了WNN，通过提出神经元互动和现在网络(NiNo)来实现更准确的预测。在与WNN不同，NiNo利用神经元连接性和图神经网络来更准确地进行预测。我们进一步表明，在某些网络（如Transformer）中，准确建模神经元连接性具有挑战。我们解决了这些问题及其他限制，这使NiNo能够在视觉和语言任务中将Adam训练加速最高可达50%。
引用
@article{arxiv.2409.04434,
title = {Accelerating Training with Neuron Interaction and Nowcasting Networks},
author = {Boris Knyazev and Abhinav Moudgil and Guillaume Lajoie and Eugene Belilovsky and Simon Lacoste-Julien},
journal= {arXiv preprint arXiv:2409.04434},
year = {2025}
}
备注
ICLR 2025, code is https://github.com/SamsungSAILMontreal/nino