理解基于切片Wasserstein距离的学习：为何需要重新思考信息丰富的切片
机器学习
2024-11-19 v1 人工智能
计算机视觉与模式识别
应用统计
统计计算
机器学习
摘要
Wasserstein距离（WDs）的实际应用受限于其样本和计算复杂度。切片Wasserstein距离（SWDs）通过将分布投射到一维子空间来提供一种解决方案，利用一维分布的更高效闭式WD。然而，在高维情况下，大多数随机投影因集中现象而变得信息不足。尽管已提出多种SWD变体以聚焦于"信息丰富"的切片，但它们常引入额外的复杂性、数值不稳定性，并妥协SWD的理想性（度量）属性。尽管越来越多的文献致力于直接修改切片分布，但常面临挑战，我们重新审视经典的切片Wasserstein，提出另一种方法：对1维Wasserstein进行比例缩放，使所有切片都 equally information-rich。重要的是，我们表明，在合适的数据假设和"切片信息丰富"的概念下，比例缩放对所有单个切片的简化为 **单个全局比例缩放因子** 对SWD。这反过来转化为在常见机器学习工作流程中基于梯度的学习标准学习率搜索。我们进行了各种机器学习任务的广泛实验，表明经典SWD在恰当配置下，往往能匹配或超越更复杂变体的性能。随后，我们回答了以下问题："切片Wasserstein是否足以应用于常见学习任务？"
引用
@article{arxiv.2411.10651,
title = {Understanding Learning with Sliced-Wasserstein Requires Rethinking Informative Slices},
author = {Huy Tran and Yikun Bai and Ashkan Shahbazi and John R. Hershey and Soheil Kolouri},
journal= {arXiv preprint arXiv:2411.10651},
year = {2024}
}