对抗性依赖最小化
机器学习
2025-03-12 v1 计算机视觉与模式识别
摘要
许多机器学习技术依赖于最小化输出特征维度之间的协方差，以从数据中提取最小冗余的表示。然而，这些方法无法消除所有依赖/冗余性，因为线性不相关的变量仍可能存在非线性关系。本工作提供一种可微分且可扩展的依赖最小化算法，超越线性两两去相关。我们的方法采用对抗游戏，其中小型网络识别特征维度之间的依赖性，而编码器则利用此信息来减少依赖性。我们提供了算法收敛的实证证据，并在三个应用中展示了其实用性：将 PCA 扩展到非线性去相关、改进图像分类方法的泛化能力，以及防止自监督表示学习中的维度坍缩。
引用
@article{arxiv.2502.03227,
title = {Adversarial Dependence Minimization},
author = {Pierre-François De Plaen and Tinne Tuytelaars and Marc Proesmans and Luc Van Gool},
journal= {arXiv preprint arXiv:2502.03227},
year = {2025}
}