KO：受动力学启发的神经优化器及其偏微分方程模拟方法
机器学习
2025-05-22 v1 人工智能
摘要
神经网络优化算法的设计仍然是一个关键挑战，大多数现有方法依赖于基于梯度的启发式方法改编。本文介绍了KO（Kinetics-inspired Optimizer），一种受动力学理论和偏微分方程（PDE）模拟启发的新神经优化器。我们将网络参数的训练动力学重新构想为受动力学原理支配的粒子系统的演化，其中参数更新通过模拟随机粒子碰撞的玻尔兹曼输运方程（BTE）的数值方案进行模拟。这种物理驱动的方法本质上促进了优化过程中的参数多样性，通过类似于物理系统中热扩散的机制缓解了参数凝聚现象，即网络参数坍缩到低维子空间。我们分析了这一性质，既建立了数学证明，也给出了物理解释。在图像分类（CIFAR-10/100、ImageNet）和文本分类（IMDB、Snips）任务上的大量实验表明，KO持续优于基线优化器（如Adam、SGD），在计算成本相当的情况下实现了精度提升。
引用
@article{arxiv.2505.14777,
title = {KO: Kinetics-inspired Neural Optimizer with PDE Simulation Approaches},
author = {Mingquan Feng and Yixin Huang and Yifan Fu and Shaobo Wang and Junchi Yan},
journal= {arXiv preprint arXiv:2505.14777},
year = {2025}
}