对偶凸化卷积神经网络
机器学习
2024-09-17 v2 机器学习
摘要
我们提出对偶凸化卷积神经网络(DCCNNs)框架。在该框架中,我们首先受凸化卷积神经网络(CCNNs)启发引入一个原始学习问题,然后通过仔细分析 Karush-Kuhn-Tucker (KKT) 条件和 Fenchel 共轭构造对偶凸训练程序。我们的方法减少了构造大核矩阵的计算开销,更重要的是消除了矩阵分解的模糊性。由于 CCNNs 中的低秩结构以及核范数的相关次微分,不存在从对偶解恢复原始解的闭式表达。为克服此问题,我们提出一种高度新颖的权重恢复算法,该算法以对偶解和核信息为输入,恢复线性权重和卷积层输出,而非权重参数。此外,我们的恢复算法利用低秩结构并间接施加少量滤波器,从而减小参数规模。因此,DCCNNs 继承了 CCNNs 的所有统计优势,同时享有更规范高效的工作流。
引用
@article{arxiv.2205.14056,
title = {Dual Convexified Convolutional Neural Networks},
author = {Site Bai and Chuyang Ke and Jean Honorio},
journal= {arXiv preprint arXiv:2205.14056},
year = {2024}
}