URLOST：无需平稳性与拓扑结构的无监督表示学习
计算机视觉与模式识别
2025-03-24 v2 机器学习
摘要
无监督表示学习已取得巨大进展。然而，它受限于对领域特定平稳性与拓扑结构的依赖，而这一局限在生物智能系统中并不存在。例如，与计算机视觉不同，人类视觉能够处理来自高度不规则且非平稳传感器的视觉信号。我们引入了一种从高通量数据中学习的新型框架，无需平稳性与拓扑结构的先验知识。我们的模型简称为 URLOST，结合了可学习的自组织层、谱聚类与掩码自编码器（MAE）。我们在三种不同数据模态上评估了其有效性，包括模拟生物视觉数据、来自初级视觉皮层的神经记录以及基因表达。与 SimCLR 和 MAE 等最先进的无监督学习方法相比，我们的模型擅长在不知晓平稳性与拓扑结构的情况下跨多种模态学习有意义的表示。它也优于其他不依赖这些因素的方法，在该领域树立了新的基准。我们将此工作定位为迈向能够跨多种高通量数据模态泛化的无监督学习方法的一步。
引用
@article{arxiv.2310.04496,
title = {URLOST: Unsupervised Representation Learning without Stationarity or Topology},
author = {Zeyu Yun and Juexiao Zhang and Yann LeCun and Yubei Chen},
journal= {arXiv preprint arXiv:2310.04496},
year = {2025}
}
备注
Accepted by ICLR 2025; Code will be available at this https://github.com/zeyuyun1/URLOST