衡量生成模型表示中的正交性
机器学习
2024-10-02 v2 人工智能
摘要
在无监督表示学习中，模型旨在从高维数据中提炼关键特征，压缩到低维学习表示，并受到归纳偏置的指导。理解何种特征才能构成优质表示仍是持续研究的主题。然而，专注于满足大多数解缠系数严格要求的表示，可能会导致忽视许多适用于各种下游任务的高质量表示。这些指标通常要求生成因素编码在与表示空间标准基 aligned 的独立单维度中。针对上述观察，我们提出两种新型指标：Importance-Weighted Orthogonality（IWO）和Importance-Weighted Rank（IWR）。这些指标评估生成因子子空间的互正交性和秩。通过在广泛的下游任务上进行大量实验，涵盖多个基准数据集和模型，IWO和IWR consistently 显示出比传统解缠系数更强的与下游任务性能相关性。我们的发现表明，表示质量更 closely related to independent generative processes 的正交性，而非它们的解缠，为评估和改进无监督学习模型提供了新方向。
引用
@article{arxiv.2407.03728,
title = {Measuring Orthogonality in Representations of Generative Models},
author = {Robin C. Geyer and Alessandro Torcinovich and João B. Carvalho and Alexander Meyer and Joachim M. Buhmann},
journal= {arXiv preprint arXiv:2407.03728},
year = {2024}
}