面向大规模视觉识别的深度多样化专家混合
计算机视觉与模式识别
2017-06-27 v1
摘要
本文开发了一种深度多样化专家混合算法，用于无缝组合一组具有不同输出（任务空间）的基础深度 CNN（卷积神经网络），例如这些基础深度 CNN 被训练以识别数万个原子目标类别的不同子集。首先，构建一个两层本体（类别层与目标类层），以实现更有效的任务组生成方案，例如将位于同级叶节点上语义相关的原子目标类别分配至同一任务组，因为它们可能具有相似的学习复杂度。其次，为每个任务组学习一个具有 （）个输出的特定基础深度 CNN，以有效识别其 个原子目标类别并自动识别一个特殊的“非组内”类别，同时直接使用精心设计的 AlexNet 的网络结构（层数及每层单元数）来配置此类基础深度 CNN。我们开发了一种深度多任务学习算法，利用类间视觉相似性来学习更具判别力的基础深度 CNN，并利用多任务 softmax 来增强同一任务组内原子目标类别的可分性。最后，将所有这些具有不同输出（任务空间）的基础深度 CNN 无缝组合，形成一个深度多样化专家混合，以识别数万个原子目标类别。实验结果表明，我们的深度多样化专家混合算法在大规模视觉识别上能够取得极具竞争力的结果。
引用
@article{arxiv.1706.07901,
title = {Deep Mixture of Diverse Experts for Large-Scale Visual Recognition},
author = {Tianyi Zhao and Jun Yu and Zhenzhong Kuang and Wei Zhang and Jianping Fan},
journal= {arXiv preprint arXiv:1706.07901},
year = {2017}
}