EnKSGD：一类预条件黑箱优化与反演算法

本文中，我们引入集成卡尔曼-斯坦梯度下降（EnKSGD）类算法。EnKSGD 类算法建立在集成卡尔曼滤波（EnKF）系列工作之上，将序贯数据同化技术应用于无约束优化与参数估计问题。其核心思想是将 EnKF 迭代至收敛时用作黑箱（即无导数、零阶）优化工具。本文中，我们回到 EnKF 作为序贯数据同化技术的本源，包括其连续时间与平均场极限，旨在开发适用于含噪黑箱优化与反问题的更快优化算法。所得的 EnKSGD 类算法可设计为既保持仿射不变性的良好性质，又采用著名的回溯线搜索。此外，EnKSGD 算法无需先前迭代 EnKF 优化方法的子空间限制性质与方差坍缩性质，因为这两种性质在优化语境中均可能不受欢迎。EnKSGD 还推广至 $L^{2}$ 损失之外，因而比标准 EnKF 适用于更广泛的问题类。对线性和非线性最小二乘问题以及最大似然估计的数值实验，展示了 EnKSGD 相对于其他 EnKF 优化方法的更快收敛。