通过耦合矩阵评估潜在空间的效率
机器学习
2025-09-09 v1 计算机视觉与模式识别
摘要
表征学习的核心挑战在于构建既具表达性又高效的潜在嵌入。在实际应用中，深度网络常常产生冗余的潜在空间，其中多个坐标编码重叠信息，降低有效容量，阻碍泛化。标准指标如准确率或重构损失仅能间接提供此类冗余的证据，无法将其作为故障模式加以隔离。我们引入一种冗余指数，记为rho(C)，通过分析从潜在表示派生的耦合矩阵，并将其非对角统计量与正态分布通过能量距离进行比较，直接量化维度间的依赖关系。该指数是一种紧凑、可解释且在统计上有据的表征质量度量。我们在MNIST变体、Fashion-MNIST、CIFAR-10和CIFAR-100上，对抖动模型、生成模型以及多种超参数优化策略进行了验证。经验表明，低rho(C)可靠地预测高分类准确率或低重构误差，而高冗余则与性能崩溃相关。估计器的可靠性随潜在维度增长而提升，为可靠分析提供了自然的下界。我们进一步展示，树形Parzen估计器(TPE)优先探索低rho区域，表明rho(C)可作为神经网络架构搜索中的指导工具，同时可作为冗余感知的正则化目标。通过将冗余作为跨模型和跨任务普遍的瓶颈加以暴露，rho(C)既提供了理论视角，也为改进所学表征的效率提供了实用工具。
引用
@article{arxiv.2509.06314,
title = {Evaluating the Efficiency of Latent Spaces via the Coupling-Matrix},
author = {Mehmet Can Yavuz and Berrin Yanikoglu},
journal= {arXiv preprint arXiv:2509.06314},
year = {2025}
}