自动聚类输出层：神经网络中潜在标注的自动学习
机器学习
2017-08-10 v2
摘要
本文讨论一种不同类型的半监督设定：所有观测都有粗粒度的标签可用，但模型必须为每个观测学习细粒度的潜在标注。此类设定中的问题很可能出现在许多领域，如文本分类、蛋白质功能预测、图像分类，以及医学和基因组学等探索性科学研究中。我们将此设定视为同时进行的监督分类（根据可用的粗标签）和无监督聚类（在每个粗标签内部），并提出一种新颖的输出层修改，称为自动聚类输出层（ACOL），它基于图活动正则化（GAR）技术允许同时进行分类和聚类。由于所提出的输出层修改为每个类别复制了输出层的 softmax 节点，GAR 允许这些复制节点在传统的误差校正学习框架上进行竞争学习，最终使神经网络能够在这种部分监督的设置中学习潜在标注。我们展示了粗标签监督如何影响性能，并帮助在子类之间传播有用的聚类信息。在三个最流行的图像数据集 MNIST、SVHN 和 CIFAR-100 上的对比测试严格证明了所提方法的有效性和竞争力。
引用
@article{arxiv.1702.08648,
title = {Auto-clustering Output Layer: Automatic Learning of Latent Annotations in Neural Networks},
author = {Ozsel Kilinc and Ismail Uysal},
journal= {arXiv preprint arXiv:1702.08648},
year = {2017}
}
备注
Submitted to IEEE Transactions on Neural Networks and Learning Systems, 2017