探索与利用深度神经网络的非对称谷
机器学习
2024-10-10 v4 人工智能
摘要
探索损失景观有助于理解深度神经网络（DNN）的内在原理。最近的研究表明，除了平坦谷和尖锐谷之外，还存在一种额外的谷不对称性，但尚未彻底研究其原因或影响。我们的研究系统地探索了影响DNN谷对称性的因素，包括：（1）影响收敛点的数据集、网络架构、初始化和超参数；（2）用于一维可视化的噪声幅度和方向。我们的主要观察表明，噪声与收敛点之间的符号一致性程度是谷对称性的关键指标。从ReLU激活和softmax函数方面的理论见解可以解释这一有趣现象。我们的发现推动了模型融合场景中的新理解和应用：（1）插值独立模型的有效性与其符号一致性比率显著相关；（2）在联邦学习中施加符号对齐成为模型参数对齐的一种创新方法。
引用
@article{arxiv.2405.12489,
title = {Exploring and Exploiting the Asymmetric Valley of Deep Neural Networks},
author = {Xin-Chun Li and Jin-Lin Tang and Bo Zhang and Lan Li and De-Chuan Zhan},
journal= {arXiv preprint arXiv:2405.12489},
year = {2024}
}
备注
Accepted by NeurIPS 2024