基于吸引-排斥损失的面向聚类表示学习
机器学习
2018-12-20 v1 人工智能
机器学习
摘要
用于训练神经网络分类器的标准损失函数——分类交叉熵（CCE）——旨在最大化训练数据上的准确率；构建有用的表示并非该目标的必然副产品。在这项工作中，我们提出面向聚类的表示学习（COREL）作为广义吸引-排斥损失框架下 CCE 的替代方案。COREL 的后果是构建潜表示，根据预定义的相似度函数，这些表示在最终隐藏层的潜空间中集体展现出自然聚类的特性。尽管实现简单，COREL 变体在多种场景下优于或与 CCE 表现相当，包括使用前馈和卷积神经网络的图像与新闻文章分类。对不同相似度函数所创建潜空间的分析有助于洞察 COREL 变体可满足的不同用例，其中 Cosine-COREL 变体产生一致的可聚类潜空间，而 Gaussian-COREL 始终获得比 CCE 更好的分类准确率。
引用
@article{arxiv.1812.07627,
title = {Clustering-Oriented Representation Learning with Attractive-Repulsive Loss},
author = {Kian Kenyon-Dean and Andre Cianflone and Lucas Page-Caccia and Guillaume Rabusseau and Jackie Chi Kit Cheung and Doina Precup},
journal= {arXiv preprint arXiv:1812.07627},
year = {2018}
}
备注
AAAI 2019 Workshop on Network Interpretability for Deep Learning (9 pages)