Barlow Twins 最优表示效率的论证：一种信息几何解释

自监督学习（SSL）通过无需标签数据即可学习有意义的表示而取得了显著成功。然而，尚缺乏统一的理论框架来理解和比较不同 SSL 方法的效率。本文引入一种新型信息几何框架，以量化表示效率。我们将表示效率 $\eta$ 定义为所学习表示空间的有效内在维度与其环境维度之比，其中有效维度来源于在由编码器诱导的统计流形上，对 Fisher 信息矩阵（FIM）的谱特性。基于此框架，本文对 Barlow Twins 方法进行理论分析。在特定但自然的假设下，我们证明 Barlow Twins 通过将表示的交相关矩阵驱动向恒等矩阵，从而实现最优表示效率（$\eta = 1$），从而诱导出各向同性的 FIM。本工作为理解 Barlow Twins 有效性提供了严格的理论基础，并为分析 SSL 方法提供了新的几何视角。