深层异方差回归中的自监督协方差估计
表示论
2025-02-18 v1 组合数学
摘要
Deep heteroscedastic regression模型通过神经网络来建模目标分布的均值和协方差。面对异方差性问题，协方差是样本相关且往往未知的，这就导致了挑战。最近的一些方法通过无监督框架来学习协方差，但这会在计算复杂度和准确性之间产生权衡。虽然通过监督可以缓解这一权衡，但为协方差获取标签并不容易。本文研究深层异方差回归中的自监督协方差估计。我们回答两个问题：（1）在假设可获得真实标签的情况下，应该如何监督协方差？（2）在缺乏真实标签的情况下，如何获取伪标签？对于问题（1），我们分析了两种流行的度量方法：KL散度和2-Wasserstein距离。随后，我们推导出一个稳定于优化的、用于非交换协方差正态分布之间2-Wasserstein距离的上界。对于问题（2），我们通过一种简单的基于邻域的启发式算法来实现，它产生了意想不到的有效协方差伪标签。我们在广泛的合成数据集和真实数据集上的实验表明，结合2-Wasserstein上界和伪标签注释的方法，能够实现计算更高效且准确的深层异方差回归。
引用
@article{arxiv.2502.10586,
title = {Fixed points in Gieseker spaces and blocks of Ariki-Koike algebras},
author = {Raphaël Paegelow},
journal= {arXiv preprint arXiv:2502.10586},
year = {2025}
}