基于 Koopman 谱的稳定不变集模型
机器学习
2023-06-21 v2
摘要
权重绑定模型在现代神经网络发展中备受关注。深度平衡模型（DEQ）以权重绑定表示无限深神经网络，近期研究显示了此类方法的潜力。DEQ 需要在训练中迭代求解寻根问题，并建立在模型所确定的底层动力学收敛到不动点的假设之上。本文提出稳定不变集模型（SIM），一类原则上在稳定性下逼近 DEQ 并将动力学推广到收敛于不变集（不限于不动点）的更一般动力学的深度模型。推导 SIM 的关键要素是用 Koopman 与 Perron--Frobenius 算子的谱表示动力学。该视角近似揭示了 DEQ 的稳定动力学，并由此导出 SIM 的两个变体。我们还提出了一种可像前馈模型一样学习的 SIM 实现。我们通过实验说明了 SIM 的经验性能，并证明在若干学习任务中 SIM 取得与 DEQ 相当或更优的性能。
引用
@article{arxiv.2207.07475,
title = {Stable Invariant Models via Koopman Spectra},
author = {Takuya Konishi and Yoshinobu Kawahara},
journal= {arXiv preprint arXiv:2207.07475},
year = {2023}
}