基于核方法的成对学习实现深度学习模块化
机器学习
2020-12-02 v2 机器学习
摘要
通过重新定义传统的层概念，我们提出了一种关于有限宽、完全可训练深度神经网络的替代视角，将其视为特征空间中的堆叠线性模型，从而导出核机器解释。基于此构造，我们进而提出了一种可证明最优的模块化分类学习框架，其不需要模块间的反向传播。该模块化方法为深度学习的标签需求带来新见解：在学习隐藏模块时仅利用隐式成对标签（弱监督）。另一方面，在训练输出模块时，它需要全监督但实现了高标签效率，使用 ResNet-18 骨干网络在 CIFAR-10 上仅需 10 个随机选取的标注样本（每类一个）即可达到 94.88% 的准确率。此外，模块化训练实现了完全模块化的深度学习工作流，从而简化流水线的设计与实现，并提升模型的可维护性与可复用性。为展示此种模块化工作流的优势，我们描述了一种简单而可靠的方法，用于在迁移学习设定下估计预训练模块的复用性与任务可迁移性。在计算开销几乎可忽略的情况下，它精确刻画了来自 CIFAR-10 的 15 个二分类任务的任务空间结构。
引用
@article{arxiv.2005.05541,
title = {Modularizing Deep Learning via Pairwise Learning With Kernels},
author = {Shiyu Duan and Shujian Yu and Jose Principe},
journal= {arXiv preprint arXiv:2005.05541},
year = {2020}
}