通过噪声正则化防止深度典型相关分析中的模型崩溃
机器学习
2024-11-04 v1
摘要
多视角表示学习（MVRL）旨在从多视角数据中学习对象的统一表示。深度典型相关分析（DCCA）及其变体具有简单的公式并展示了最先进的性能。然而，通过大量实验，我们观察到模型崩溃问题，即 DCCA 方法的性能在训练过程中会急剧下降。模型崩溃问题可能严重阻碍 DCCA 方法的广泛应用，因为很难决定何时提前停止。为此，我们开发了 NR-DCCA，它配备了一种新颖的噪声正则化方法来防止模型崩溃。理论分析表明，相关不变性（Correlation Invariant Property）是防止模型崩溃的关键，而我们的噪声正则化迫使神经网络具备该性质。还开发了一个框架来构造具有不同共同信息和互补信息的合成数据，以全面比较 MVRL 方法。开发的 NR-DCCA 在合成和真实数据集上均优于基线方法且表现稳定一致，所提出的噪声正则化方法也可以推广到其他 DCCA 方法，如 DGCCA。
引用
@article{arxiv.2411.00383,
title = {Preventing Model Collapse in Deep Canonical Correlation Analysis by Noise Regularization},
author = {Junlin He and Jinxiao Du and Susu Xu and Wei Ma},
journal= {arXiv preprint arXiv:2411.00383},
year = {2024}
}
备注
Accepted by NeurIPS 2024 as a poster