对称二值感知机中解的聚类
无序系统与神经网络
2020-07-28 v3 机器学习
摘要
神经网络模型（非凸）损失景观的几何特征对确保优化成功以及最为重要的良好泛化能力至关重要。尽管最小化器的平坦度与良好泛化一致相关，但即便在玩具模型中，关于此类最小化器存在条件 rigorous 工作的探索也很少。本文考虑一个简单的神经网络模型——具有二值权重的对称感知机。将学习问题表述为约束满足问题，平坦最小化器的对应物变为一个庞大而稠密的解簇，而最窄的最小化器则是孤立解。我们通过计算任意接近解对存在的第一、二矩上界，朝严格证明在某些参数区间内稠密簇的存在迈出了第一步。此外，我们给出了针对固定两两距离的 个解集的同样界的非严格推导。
引用
@article{arxiv.1911.06756,
title = {Clustering of solutions in the symmetric binary perceptron},
author = {Carlo Baldassi and Riccardo Della Vecchia and Carlo Lucibello and Riccardo Zecchina},
journal= {arXiv preprint arXiv:1911.06756},
year = {2020}
}