GenURL：一种无监督表示学习的通用框架

无监督表示学习（URL）在无监督条件下学习高维数据的紧凑嵌入，近期取得了显著进展。然而，针对不同需求开发的 URL 方法相互独立，限制了算法的泛化能力，尤其当任务数量增长时这一问题更为突出。例如，降维方法 t-SNE 与 UMAP 通过保持全局几何结构来优化成对数据关系，而自监督学习 SimCLR 与 BYOL 则侧重于在特定增强下挖掘实例的局部统计信息。为应对这一困境，我们总结并提出了一个统一的基于相似度的 URL 框架 GenURL，可平滑适配各类 URL 任务。本文将 URL 任务视为对数据几何结构的不同隐式约束，其有助于寻求最优低维表示，归结为数据结构建模（DSM）与低维变换（LDT）。具体而言，DMS 提供基于结构的子模块以描述全局结构，LDT 在给定 pretext 任务下学习紧凑低维嵌入。此外，提出了目标函数 General Kullback-Leibler 散度（GKL）以自然连接 DMS 与 LDT。综合实验表明，GenURL 在自监督视觉学习、无监督知识蒸馏（KD）、图嵌入（GE）与降维中均取得一致的 SOTA 性能。