基于神经激活编码的无监督表征学习
机器学习
2021-12-09 v1 计算机视觉与模式识别
摘要
我们提出神经激活编码（NAC）作为一种从无标签数据中学习深度表征以用于下游应用的新方法。我们认为，深度编码器应最大化其在数据上的非线性表达能力，以便下游预测器能够充分利用其表征能力。为此，NAC在噪声通信信道上最大化编码器激活模式与数据之间的互信息。我们证明，学习抗噪声的激活编码会增加ReLU编码器的不同线性区域的数量，从而提升其最大非线性表达能力。更有趣的是，NAC同时学习数据的连续和离散表征，我们分别在两个下游任务上对其进行评估：(i) 在CIFAR-10和ImageNet-1K上的线性分类，以及 (ii) 在CIFAR-10和FLICKR-25K上的最近邻检索。实证结果表明，NAC在这两项任务上均取得了优于或可比于近期基线方法（包括SimCLR和DistillHash）的性能。此外，NAC预训练为深度生成模型的训练提供了显著益处。我们的代码可在https://github.com/yookoon/nac获取。
引用
@article{arxiv.2112.04014,
title = {Unsupervised Representation Learning via Neural Activation Coding},
author = {Yookoon Park and Sangho Lee and Gunhee Kim and David M. Blei},
journal= {arXiv preprint arXiv:2112.04014},
year = {2021}
}
备注
Published in International Conference on Machine Learning (ICML), 2021