自动微分与连续灵敏度分析在微分方程解导数计算中的比较

微分方程解的导数常用于参数估计、拟合神经微分方程以及作为模型诊断。然而，面对众多的选择和潜在方法的笛卡尔积，从业者往往难以理解哪种方法在其特定应用上可能最为有效。在本文中，我们研究了通过自动微分实现的离散局部灵敏度分析（DSAAD）与连续伴随灵敏度分析的性能特征。使用非刚性和刚性生物及药物代谢模型（包括一个 PDE 离散化）来量化灵敏度分析方法的性能。我们的基准测试表明，在小型 ODE 系统（大约 $<100$ 个参数+ODE）上，前向模式 DSAAD 比反向模式以及连续前向/伴随灵敏度分析都更高效。在超过该规模范围后，连续伴随方法的可扩展性被证明比离散伴随和前向方法更高效。这些比较研究展示了连续伴随方法中内存使用与性能之间的权衡，在选择技术时应加以考虑，同时来自机器学习文献的数值不稳定反向求解技术被证明不适用于大多数科学模型。伴随方法的性能被证明与反向模式 AD 方法密切相关，基于磁带的 AD 方法在非线性偏微分方程上比静态 AD 技术慢两个数量级。这些结果还展示了 DSAAD 对微分代数方程、延迟微分方程和混合微分方程系统的适用性，彰显了 DSAAD 方法在实现简便性上的优势。