AdaDim：SSL 表示动态的维度自适应

有效进行自监督学习（SSL）的关键因素之一是防止维度坍缩，即更高维表示空间（$R$）跨越更低维子空间。因此，SSL 优化策略涉及引导模型产生更高维度（$H(R)$）的 $R$，通过鼓励特征间解相关或 $R$ 中样本均匀性来实现。$H(R)$ 越高，$R$ 的特征多样性越大，这对下游任务的泛化具有帮助。除了维度优化，SSL 算法还利用投影头将 $R$ 映射到嵌入空间 $Z$。最近的工作将投影头 Characterization 为从SSL目标中过滤噪声或无关特征的滤波器，通过降低互信息 $I(R;Z)$ 来实现。因此，当前文献认为，良好的SSL表示空间应具有高 $H(R)$ 和低 $I(R;Z)$。然而，这种SSL观点缺乏对影响两者关系的训练动态的理解。我们的分析表明，表现最佳的SSL模型并不具有最高的 $H(R)$ 也不具有最低的 $I(R;Z)$，但有效地在两者之间取得平衡。为利用这一分析，我们引入 AdaDim，一种利用SSL训练动态的训练策略，通过特征解相关和样本均匀性平衡 $H(R)$ 的增加，同时逐步正则化 $I(R;Z)$。我们展示了相较于常规SSL基线，本方法在性能上提升了最高3%，且无需使用队列、聚类、预测网络或学生-教师架构等高成本技术。