基于伴随反向传播的神经分数阶微分方程高效训练
机器学习
2025-03-24 v1
摘要
分数阶微分方程 (FDEs) 通过将微分算子的阶数从整数扩展到实数来增强传统微分方程，为建模具有非局部特性的复杂动力系统提供了更大的灵活性。FDEs 与深度学习交叉领域的最新进展催生了一系列创新模型，展示了应对图表示学习等挑战的潜力。然而，训练神经 FDEs 主要依赖于通过 FDE 数值求解器前向传播操作的直接微分，导致内存使用和计算复杂度增加，尤其是在大规模应用中。为应对这些挑战，我们提出了一种可扩展的伴随反向传播方法，通过求解增广 FDE 反向过程来训练神经 FDEs，从而大幅降低内存需求。该方法提供了一个实用的神经 FDE 工具箱，并在多种应用中展现出广阔前景。我们在多个任务上验证了方法的有效性，在保持与基线模型相当性能的同时显著降低了计算开销。
引用
@article{arxiv.2503.16666,
title = {Efficient Training of Neural Fractional-Order Differential Equation via Adjoint Backpropagation},
author = {Qiyu Kang and Xuhao Li and Kai Zhao and Wenjun Cui and Yanan Zhao and Weihua Deng and Wee Peng Tay},
journal= {arXiv preprint arXiv:2503.16666},
year = {2025}
}
备注
AAAI Conference on Artificial Intelligence 2025