矩阵乘积态机器学习架构中的泛化与过拟合
机器学习
2022-08-10 v1 量子物理
摘要
尽管过拟合以及更一般的双下降在机器学习中无处不在，但在以往研究中，增加最广泛使用的张量网络——矩阵乘积态（MPS）的参数数量通常导致测试性能单调提升。为了更好地理解由 MPS 参数化的架构的泛化性质，我们构造了可被 MPS 精确建模的人工数据，并用不同参数数量训练模型。我们观察到一维数据上的模型过拟合，但也发现对于更复杂的数据过拟合不那么显著，而在 MNIST 图像数据上我们未发现任何过拟合迹象。我们推测 MPS 的泛化性质依赖于数据的性质：对于一维数据（MPS 拟设最适用）MPS 易于过拟合，而对于不能被 MPS 精确拟合的更复杂数据，过拟合可能远不显著。
引用
@article{arxiv.2208.04372,
title = {Generalization and Overfitting in Matrix Product State Machine Learning Architectures},
author = {Artem Strashko and E. Miles Stoudenmire},
journal= {arXiv preprint arXiv:2208.04372},
year = {2022}
}
备注
Main text: 8 pages and 6 figures. Supplementary material: 3 pages, 3 figures