更少即更多：基于单层神经网络的高效权重预测

面对大规模深度神经网络训练中所固有的计算挑战，持续是当代机器学习研究中的关键任务。虽然之前的努力专注于通过梯度下降带动量、学习率调度和权重正则化等技术来提升训练效率，但随着模型规模的不断扩大，对进一步创新的需求仍在增长。在本研究中，我们引入一种新框架，与常规方法不同，通过利用长期时间序列预测技术。我们的方法仅依赖初始和最终权重值，为复杂模型架构提供了简化替代方案。我们还引入了旨在增强我们方法预测性能的新型正则化器。在合成权重序列和来自真实世界深度学习架构（包括著名的大语言模型 DistilBERT）上的经验评估表明，我们方法在预测精度和计算效率方面均显示优越性。值得注意的是，我们框架在所需最小额外计算开销的情况下展示了 improved performance，因而为加速跨 diverse 任务和架构的训练过程提供了有前景的途径。