NDDR-CNN：基于神经判别降维的多任务 CNN 逐层特征融合
计算机视觉与模式识别
2019-04-08 v4 机器学习
摘要
本文提出一种用于通用多任务学习（MTL）的新型卷积神经网络（CNN）结构，其能够在每一层从不同任务自动融合特征。这与最广泛使用的 MTL CNN 结构形成对比，后者在某些特定层经验性或启发式地共享特征（例如除最后卷积层外共享所有特征）。所提出的逐层特征融合方案以新颖方式组合现有 CNN 组件来表述，具有作为判别降维的清晰数学可解释性，称为神经判别降维（NDDR）。具体而言，我们首先根据通道维度拼接来自不同任务、具有相同空间分辨率的特征。然后，我们证明判别降维可通过一个 CNN 中的 1x1 卷积、批归一化和权重衰减来实现。现有 CNN 组件的使用确保了端到端训练以及所提 NDDR 层以“即插即用”方式扩展到各种最先进 CNN 架构的能力。详细的消融分析表明，所提 NDDR 层易于训练且对不同超参数具有鲁棒性。在不同任务集与各种基础网络架构上的实验展示了我们方法的良好性能与理想泛化性。本文代码见 https://github.com/ethanygao/NDDR-CNN。
引用
@article{arxiv.1801.08297,
title = {NDDR-CNN: Layerwise Feature Fusing in Multi-Task CNNs by Neural Discriminative Dimensionality Reduction},
author = {Yuan Gao and Jiayi Ma and Mingbo Zhao and Wei Liu and Alan L. Yuille},
journal= {arXiv preprint arXiv:1801.08297},
year = {2019}
}
备注
11 pages, 3 figures, 9 tables