Koopman 自编码器的特征值初始化与正则化

正则化神经网络的参数矩阵在深度模型训练中十分普遍。典型的正则化方法建议用小随机值初始化权重，并对权重施加惩罚以促进稀疏性。然而，这些广泛使用的技术在特定场景下效果可能欠佳。在此，我们研究包含编码器、Koopman 算子层与解码器的 Koopman 自编码器模型。这些模型专为处理具有可解释动力学且能融入物理相关约束的物理问题而设计。但现有多数工作采用标准正则化实践。本工作中，我们迈向以面向物理相关设定定制的初始化与惩罚方案增强 Koopman 自编码器。具体而言，我们提出从特定特征值分布中采样初始 Koopman 算子的“eigeninit”初始化方案。此外，我们建议“eigenloss”惩罚方案，在训练中惩罚 Koopman 算子的特征值。我们在两个合成数据集（受驱摆与圆柱绕流）与两个真实问题（海表温度与气旋风场）上展示了这些方案的效用。我们发现，在这些数据集上 eigenloss 与 eigeninit 将收敛速度提升至最多 5 倍，并将累积长期预测误差降低至最多 1/3。该发现指向在其他物理相关深度学习方法中纳入类似方案作为归纳偏置的效用。