通过核范数正则化进行系统辨识
机器学习
2022-04-01 v1 机器学习
系统与控制
系统与控制
动力系统
最优化与控制
摘要
本文研究通过Hankel核范数正则化辨识低阶线性系统的问题。Hankel正则化鼓励Hankel矩阵的低秩性，这对应于系统的低阶性。我们为该正则化提供了新颖的统计分析，并仔细将其与无正则化的普通最小二乘（OLS）估计量进行对比。我们的分析得出了对线性系统的脉冲响应及关联Hankel矩阵估计的新界。我们首先设计一种输入激励，并表明Hankel正则化能够在真实系统阶数下以最优观测数恢复系统，并实现强统计估计速率。令人惊讶的是，我们通过证明直观选择（如i.i.d.高斯输入）会导致可证明的次优样本复杂度，表明了输入设计确实重要。为了更好理解正则化的益处，我们也重新审视OLS估计量。除了精炼现有界，我们通过实验确定了正则化方法何时优于OLS：（1）对于具有缓慢脉冲响应衰减的低阶系统，OLS方法在样本复杂度上表现糟糕；（2）正则化返回的Hankel矩阵具有更清晰的奇异值间隙，便于辨识系统阶数；（3）Hankel正则化对超参数选择较不敏感。最后，我们通过联合训练-验证过程建立模型选择保证，其中我们调优正则化参数以实现近最优估计。
引用
@article{arxiv.2203.16673,
title = {System Identification via Nuclear Norm Regularization},
author = {Yue Sun and Samet Oymak and Maryam Fazel},
journal= {arXiv preprint arXiv:2203.16673},
year = {2022}
}