潜时神经常微分方程

神经常微分方程（NODE）已被提出作为残差网络（ResNets）等流行深度学习模型的连续深度推广。它们提供参数效率，并在一定程度上自动化深度学习模型中的模型选择过程。然而，它们缺乏在自动驾驶与医疗等若干现实应用中至关重要的所需不确定性建模与鲁棒性能力。我们提出一种新颖独特的方法，通过考虑ODE求解器终止时间$T$上的分布来建模NODE中的不确定性。所提方法潜时NODE（LT-NODE）将$T$视为潜变量并应用贝叶斯学习从数据中获得$T$的后验分布。特别地，我们使用变分推断来学习近似后验与模型参数。预测通过考虑来自后验不同样本的NODE表示完成，并可利用单次前向传播高效进行。由于$T$隐式定义了NODE的深度，$T$上的后验分布也将有助于NODE中的模型选择。我们还提出自适应潜时NODE（ALT-NODE），其允许每个数据点具有 distinct 的终止时间后验分布。ALT-NODE使用 amortized 变分推断通过推断网络学习近似后验。我们通过合成与若干真实世界图像分类数据上的实验展示了所提方法在不确定性建模与鲁棒性上的有效性。