无监督学习吃DIET：以数据索引为标签、无需自监督、重构与投影头的表示学习
人工智能
2023-02-22 v1 计算机视觉与模式识别
机器学习
摘要
标签昂贵、含噪且过度专门化；若我们希望学习廉价、可靠且可迁移的模型，就应弃用标签而转向无监督学习。为此，谱嵌入、自监督学习或生成式建模已提供了有竞争力的方案。然而这些方法伴随诸多挑战，例如估计测地距离、指定投影器架构与防崩塌损失，或指定解码器架构与重构损失。相比之下，我们提出一种简单且可解释的替代方案——命名为DIET——从无标签数据中学习表征，且不受上述挑战困扰。DIET极其简单：取你最喜欢的分类设置，并使用数据索引（Datum IndEx）作为其目标类别，即每个样本是自己的类，无需进一步改动。DIET无需解码器/投影网络，不基于正样本对也不基于重构，不引入超参数，且可跨数据集与架构开箱即用。尽管DIET简单，其学到的表征质量高，且常与最先进水平相当，例如在DIET所学表征之上使用线性分类器，在CIFAR100上以Resnet101达到71.4%，在TinyImagenet上以Resnext50达到52.5%。
引用
@article{arxiv.2302.10260,
title = {Unsupervised Learning on a DIET: Datum IndEx as Target Free of Self-Supervision, Reconstruction, Projector Head},
author = {Randall Balestriero},
journal= {arXiv preprint arXiv:2302.10260},
year = {2023}
}