通过 DCA 框架理解捷径的有效性
机器学习
2024-12-16 v1 神经与进化计算
最优化与控制
摘要
差分凸算法（Difference-of-Convex Algorithm, DCA）是一种著名的非凸优化算法，用于最小化可表示为两个凸函数差的非凸函数。许多著名的现有优化算法，如 SGD 和proximal point 方法，都可视为具有特定 DC 分解的特殊 DCA，使其成为优化的强大框架。另一方面，捷径是现代深度神经网络中的关键架构特征，促进了训练和优化。我们展示，捷径神经网络的梯度可通过应用于无捷径连接的 vanilla 神经网络来获得。因此，从 DCA 的视角，我们可以更好地理解具有捷径的网络的有效性。此外，我们提出了一种新型架构称为 NegNet，它不符合前述解释，但在性能上与 ResNet 相当且可纳入 DCA 框架。
引用
@article{arxiv.2412.09853,
title = {Understand the Effectiveness of Shortcuts through the Lens of DCA},
author = {Youran Sun and Yihua Liu and Yi-Shuai Niu},
journal= {arXiv preprint arXiv:2412.09853},
year = {2024}
}