基于稀疏流形变换的极简无监督学习
机器学习
2023-05-01 v2 计算机视觉与模式识别
机器学习
摘要
我们描述了一种极简且可解释的无监督学习方法，无需借助数据增强、超参数调优或其他工程设计，即可达到接近 SOTA SSL 方法的性能。我们的方法利用稀疏流形变换，其统一了稀疏编码、流形学习和慢特征分析。通过一层确定性稀疏流形变换，可在 MNIST 上达到 99.3% KNN top-1 准确率，在 CIFAR-10 上达到 81.1% KNN top-1 准确率，在 CIFAR-100 上达到 53.2%。通过简单的灰度增强，模型在 CIFAR-10 上获得 83.2% KNN top-1 准确率，在 CIFAR-100 上获得 57%。这些结果显著缩小了简单“白盒”方法与 SOTA 方法之间的差距。此外，我们提供可视化以解释无监督表示变换是如何形成的。所提方法与潜在嵌入自监督方法紧密相连，可视为 VICReg 的最简形式。尽管我们的简单构造模型与 SOTA 方法之间仍存在微小性能差距，但证据表明这是一个有前景的方向，可实现原则化且白盒的无监督学习。
引用
@article{arxiv.2209.15261,
title = {Minimalistic Unsupervised Learning with the Sparse Manifold Transform},
author = {Yubei Chen and Zeyu Yun and Yi Ma and Bruno Olshausen and Yann LeCun},
journal= {arXiv preprint arXiv:2209.15261},
year = {2023}
}
备注
This paper is published at ICLR 2023