置信多选学习
机器学习
2017-09-25 v2 机器学习
摘要
集成方法可以说是提升机器学习模型性能最值得信赖的技术。依赖于简单平均/投票机制的流行独立集成（IE）是大多数涉及深度神经网络应用的典型选择，但它们未考虑集成模型间的高级协作。在本文中，我们提出了专为深度神经网络设计的新集成方法，称为置信多选学习（CMCL）：它是多选学习（MCL）的一种变体，旨在解决其过度自信问题。具体而言，CMCL 在原始 MCL 方案基础上提出的主要组件包括： 新损失，即置信预言机损失； 新架构，即特征共享； 新训练方法，即随机标注。我们通过在 CIFAR 和 SVHN 上的图像分类以及在 iCoseg 上的前景-背景分割实验，展示了 CMCL 的效果。特别地，使用 5 个残差网络的 CMCL 在 CIFAR 和 SVHN 的分类任务中，相较于对应的 IE 方案，top-1 错误率分别相对降低了 14.05% 和 6.60%。
引用
@article{arxiv.1706.03475,
title = {Confident Multiple Choice Learning},
author = {Kimin Lee and Changho Hwang and KyoungSoo Park and Jinwoo Shin},
journal= {arXiv preprint arXiv:1706.03475},
year = {2017}
}
备注
Accepted in ICML 2017