超越下游任务的统一表示评估框架

下游探测一直是评估模型表示的主流方法，这在 self-supervised 学习和基础模型日益突出的背景下尤为重要。然而，下游探测主要评估模型潜在空间中任务相关信息的可用性，忽略了等变性、不变性和解耦等属性，这些属性在实际应用中对表示的可解释性、可适应性和实用性都有重要影响。虽然已有一些尝试测量这些特征，但不存在具有模块化、可泛化和可解释性指标的统一评估框架。本文主张超越下游探测进行表示评估的重要性。我们引入了标准化协议，用于量化模型表示中变化因素的可信息性、等变性、不变性和解耦性。我们使用该框架在图像和语音领域评估了来自不同模型的表示，这些模型采用不同的架构和预训练方法，并针对已识别的可控变化因素进行测试。我们发现，下游性能相似的模型在这些属性方面可能行为截然不同。这暗示了它们在下游性能背后的机制在功能上存在差异，催生了新的研究方向，以理解和改进表示。