Wasserstein 空间中的几何稀疏编码
机器学习
2022-10-24 v1 计算机视觉与模式识别
信号处理
最优化与控制
概率论
统计理论
统计理论
摘要
Wasserstein 字典学习是一种无监督方法,用于学习一组概率分布,这些分布通过 Wasserstein 重心组合生成观测分布。现有的 Wasserstein 字典学习方法优化一个目标函数,该函数寻求具有足够表示能力的字典,通过重心插值来逼近观测训练数据,但不对与字典相关的系数施加额外的结构性质。这导致字典对观测数据进行稠密表示,使得系数的解释具有挑战性,并且当在下游任务中使用学习到的系数时也可能导致较差的实证性能。相比之下,受欧氏空间中稀疏字典学习的启发,我们提出了一种用于 Wasserstein 空间的几何稀疏正则化器,它促进仅使用邻近字典元素对数据点进行表示。我们表明该方法导致了 Wasserstein 空间中的稀疏表示,并解决了重心表示非唯一性的问题。此外,当数据生成为固定分布的 Wasserstein 重心时,该正则化器能够在未正则化 Wasserstein 字典学习不适定的情况下恢复生成分布。通过在合成和真实数据上的实验,我们表明我们的几何正则化方法在 Wasserstein 空间中产生了更稀疏且更具可解释性的字典,并在下游应用中表现更好。
引用
@article{arxiv.2210.12135,
title = {Geometric Sparse Coding in Wasserstein Space},
author = {Marshall Mueller and Shuchin Aeron and James M. Murphy and Abiy Tasissa},
journal= {arXiv preprint arXiv:2210.12135},
year = {2022}
}
备注
24 pages