卷积核乘积子流形上的优化

最近，用于训练根据特定约束归一化的卷积神经网络(CNNs)核的优化方法取得了显著成功。本工作引入了一种使用由不同约束构建的核联合空间集成来训练CNNs的方法。为此，我们解决了卷积核乘积子流形(PEMs)集成上的优化问题。为此，我们首先提出三种策略在CNNs中构建PEMs集成。接下来，我们阐述它们在CNNs中的几何性质(度量和曲率性质)。我们利用理论结果开发了用于PEMs集成上优化以训练CNNs的几何感知SGD算法(G-SGD)。此外，我们考虑PEMs的几何性质分析了G-SGD的收敛性质。在实验分析中，我们采用G-SGD在Cifar-10、Cifar-100和Imagenet数据集上训练CNNs。结果表明，G-SGD的几何自适应步长计算方法能够改善CNNs的训练损失和收敛性质。此外，我们观察到基线CNNs的分类性能可通过在由多重约束识别的PEMs集成上使用G-SGD得到提升。