MALI：一种面向神经常微分方程的内存高效且反向精确的积分器
机器学习
2021-03-05 v2
摘要
神经常微分方程（Neural ODEs）是一类具有连续深度的新型深度学习模型。然而，连续情形下梯度的数值估计尚未很好解决：现有的伴随方法实现在反向时间轨迹上存在不精确问题，而朴素方法与自适应检查点伴随方法（ACA）的内存开销随积分时间增长。在本项目中，基于异步蛙跳（ALF）求解器，我们提出内存高效ALF积分器（MALI），其相对于积分中的求解步数具有与伴随方法类似的恒定内存开销，并保证反向时间轨迹的精确性（从而确保梯度估计的精确性）。我们在多种任务上验证MALI：在图像识别任务上，据我们所知，MALI是首个能够在ImageNet上实现神经常微分方程可行训练并超越精心调优的ResNet的方法，而现有方法因沉重的内存负担或不精确性而失败；在时间序列建模中，MALI显著优于伴随方法；在连续生成模型中，MALI取得了新的当前最优（SOTA）性能。我们提供了一个pypi包：\url{https://jzkay12.github.io/TorchDiffEqPack/}
引用
@article{arxiv.2102.04668,
title = {MALI: A memory efficient and reverse accurate integrator for Neural ODEs},
author = {Juntang Zhuang and Nicha C. Dvornek and Sekhar Tatikonda and James S. Duncan},
journal= {arXiv preprint arXiv:2102.04668},
year = {2021}
}
备注
https://openreview.net/forum?id=blfSjHeFM_e