表示学习中的统计与结构可辨识性

表示学习模型在其内部表示方面表现出惊人的稳定性。虽然大多数先前工作将这种稳定性视为单个属性，但我们将其正式化为两个 distinct 概念：统计可辨识性(表示在不同运行中的一致性)和结构可辨识性(表示与某些未观测真实基准之间的对齐)。鉴于在现代表示学习模型中实现完美的逐点可辨识性通常是不现实的，我们提出了新的模型无关的统计和结构近似可辨识性定义，容忍误差 $\epsilon$。借助这些定义，我们为具有非线性解码器的模型证明了统计 $\epsilon$-近似可辨识性结果，将现有的可辨识性理论从例如生成式预训练变换器(GPTs)中的最后一层表示推广到包括(掩码)自编码器(MAEs)和监督学习者的广泛模型中间表示的近似可辨识性。虽然这些较弱的假设赋予较弱的可辨识性，但我们表明独立成分分析(ICA)可以解决这类模型剩余的线性歧义，并对我们的近似可辨识性主张进行实证验证和度量。对于数据生成过程的额外假设，统计可辨识性可延伸至结构可辨识性，yielding 一种简单实用的解耦食谱：ICA后处理潜在表示。在合成基准上，该方法使用 vanilla 自编码器实现了最先进的解耦。在面向细胞显微镜的基础模型规模MAE中，它将生物学变异与技术批次效应分离，显著改进了下游泛化。