关于过参数化在状态重构中的益处：非线性情形的实证研究
最优化与控制
2023-04-18 v1 动力系统
摘要
参数远多于测量值的机器学习模型的经验成功引发了人们对过参数化（即欠定模型）理论的兴趣。该范式近来已在深度学习等领域被研究，其中人们关注复杂非线性损失函数的良好（局部）极小值。梯度下降等优化器表现良好且稳定地达到良好解。类似地，非线性优化问题也见于系统辨识领域。此类高维问题的例子包括由从观测时间序列重构假定已知动力系统的模型状态与参数所产生的优化任务。本工作中，我们明确了过参数化益处方面深度学习语境中所分析内容与系统辨识之间的显式类比。我们测试多种混沌时间序列模型，以批量模式分析未知模型状态与参数的优化过程。我们发现，若假定更多参数为未知，梯度下降可达到更优解。我们假定，过参数化确实将我们引向更优极小值，且只要系统在原理上可观测，优化中更多的自由度就是有益的。
引用
@article{arxiv.2304.08066,
title = {On the benefit of overparameterisation in state reconstruction: An empirical study of the nonlinear case},
author = {Jonas F. Haderlein and Andre D. H. Peterson and Parvin Zarei Eskikand and Anthony N. Burkitt and Iven M. Y. Mareels and David B. Grayden},
journal= {arXiv preprint arXiv:2304.08066},
year = {2023}
}