基于最大编码率缩减原理学习多样且具判别性的表示
机器学习
2020-06-16 v1 计算机视觉与模式识别
信息论
math.IT
机器学习
摘要
为从高维数据中学习最区分各类别的内在低维结构,我们提出最大编码率缩减原理(),这是一种信息论度量,最大化整个数据集与各个类之和的编码率之差。我们阐明了它与交叉熵、信息瓶颈、信息增益、收缩式与对比式学习等绝大多数现有框架的关系,并为学习多样且具判别性的特征提供了理论保证。编码率可由退化子空间类分布的有限样本精确计算,并能在监督、自监督与无监督设定下以统一方式学习内在表示。经验上,仅用此原理学习的表示在分类中对标签损坏的鲁棒性显著优于使用交叉熵的表示,并能在基于自学习不变特征聚类混合数据时取得最先进的结果。
引用
@article{arxiv.2006.08558,
title = {Learning Diverse and Discriminative Representations via the Principle of Maximal Coding Rate Reduction},
author = {Yaodong Yu and Kwan Ho Ryan Chan and Chong You and Chaobing Song and Yi Ma},
journal= {arXiv preprint arXiv:2006.08558},
year = {2020}
}