深度神经网络解是否构成星形域？
机器学习
2024-06-11 v2 人工智能
摘要
最近有推测认为，考虑置换不变性时，通过随机梯度下降（SGD）可达的神经网络解集是凸的（Entezari 等人，2022）。这意味着，在其中一个模型的权重经过适当置换后，一条线性路径可以连接两个具有低损失值的独立解。然而，当前检验该理论的方法通常需要非常宽的网络才能成功。在这项工作中，我们推测更一般地，SGD 解集是一个“星形域”，其中包含一个“星形模型”，该模型通过具有低损失值的路径（模置换）与所有其他解线性连接。我们提出了 Starlight 算法，用于寻找给定学习任务的星形模型。我们通过展示该星形模型与其他独立找到的解线性连接来验证我们的主张。作为我们研究的额外益处，我们展示了在所得星形域上进行贝叶斯模型平均可获得更好的不确定性估计。此外，我们展示了星形模型作为模型集成的潜在替代品。我们的代码可在 https://github.com/aktsonthalia/starlight 获取。
引用
@article{arxiv.2403.07968,
title = {Do Deep Neural Network Solutions Form a Star Domain?},
author = {Ankit Sonthalia and Alexander Rubinstein and Ehsan Abbasnejad and Seong Joon Oh},
journal= {arXiv preprint arXiv:2403.07968},
year = {2024}
}