具有前向正则化的随机神经网络增量在线学习
机器学习
2024-12-18 v1 计算机视觉与模式识别
摘要
深度神经网络的在线学习面临着滞后非增量更新、内存占用增加、过往回顾性重训练以及灾难性遗忘等挑战。为了缓解这些缺陷并实现渐进式即时决策，我们提出了一种新的随机神经网络增量在线学习过程，这是一个在受限在线场景下促进随机神经网络性能持续提升的框架。在该框架内，我们进一步引入了带有岭正则化的 IOL (-R) 和带有前向正则化的 IOL (-F)。-R 生成无需回顾性重训练的逐步增量更新，并避免了灾难性遗忘。此外，我们用 -F 替代了 -R，因为 -F 利用半监督增强了预知学习能力，并且在 IOL 期间与离线全局专家相比实现了更好的在线遗憾。分别推导了在非平稳批次流上带有 -R/-F 的随机神经网络 IOL 算法，其特征在于递归权重更新和可变学习率。此外，我们使用一种新颖的方法，在对抗假设下详细分析并理论推导了 IOL 中带有 -R/-F 的随机神经网络学习器的相对累积遗憾界限，并提出了几个推论，从中我们观察到在 IOL 中采用 -F 在在线学习加速和遗憾界限上的优越性。最后，我们提出的方法在多样化数据集的回归和分类任务上进行了严格检验，明确验证了随机神经网络 IOL 框架的有效性以及前向正则化的优势。
引用
@article{arxiv.2412.13096,
title = {Incremental Online Learning of Randomized Neural Network with Forward Regularization},
author = {Junda Wang and Minghui Hu and Ning Li and Abdulaziz Al-Ali and Ponnuthurai Nagaratnam Suganthan},
journal= {arXiv preprint arXiv:2412.13096},
year = {2024}
}