用于切片 Wasserstein 点云重建的自注意力摊销分布投影优化
机器学习
2023-05-09 v2 计算机视觉与模式识别
图形学
机器学习
摘要
最大切片 Wasserstein（Max-SW）距离被广泛认为是切片 Wasserstein（SW）距离投影判别力不足的一种解决方案。在具有多种独立概率测度对的应用中，摊销投影优化被用于给定两个输入测度预测“最大”投影方向，而非多次使用投影梯度上升。尽管高效，Max-SW 及其摊销版本由于投影梯度上升的次优性和摊销差距无法保证度量性质。因此，我们提出以具有 von Mises-Fisher（vMF）投影分布（v-DSW）的分布式切片 Wasserstein 距离替代 Max-SW。由于 v-DSW 在任意非退化 vMF 分布下均为度量，其摊销版本在执行摊销时可保证度量性。此外，当前的摊销模型不具备置换不变性和对称性。为解决该问题，我们基于自注意力架构设计摊销模型。特别地，我们采用高效自注意力架构使计算在支撑点数量上呈线性。结合这两点改进，我们推导出自注意力摊销分布投影优化，并展示了其在点云重建及其下游应用中的优异性能。
引用
@article{arxiv.2301.04791,
title = {Self-Attention Amortized Distributional Projection Optimization for Sliced Wasserstein Point-Cloud Reconstruction},
author = {Khai Nguyen and Dang Nguyen and Nhat Ho},
journal= {arXiv preprint arXiv:2301.04791},
year = {2023}
}
备注
Accepted to ICML 2023, 23 pages, 6 figures, 9 tables,