通过对称与按因子群不变函数的通用架构神经逼近 Wasserstein 距离

学习复杂对象之间的距离函数（例如用于比较点集的 Wasserstein 距离）是机器学习应用中的常见目标。然而，此类复杂对象（如点集与图）上的函数常需对多种群作用（如置换或刚性变换）保持不变。因此，此类复杂对象上的连续对称乘积函数（如距离函数）也必须对这类群作用之积保持不变。我们称这些函数为对称且按因子群不变函数（简称 SFGI 函数）。本文首先给出逼近 SFGI 函数的一般神经网络架构。本文的主要贡献是将该一般神经网络与草图（sketching）思想结合，发展出一种特定且高效的神经网络，可逼近点集间的 $p$ 阶 Wasserstein 距离。非常重要的是，所需模型复杂度与输入点集的大小无关。在理论方面，据我们所知，这是首个表明存在能以有界模型复杂度逼近 Wasserstein 距离的神经网络的结果。我们的工作为几何问题的草图思想与对称函数通用逼近提供了有趣的结合。在实验方面，我们给出一系列结果表明，新提出的神经网络架构性能优于或可比于其他模型（包括一种基于 SOTA Siamese Autoencoder 的方法）。特别地，我们的神经网络泛化能力显著更优，且比 SOTA Siamese AE 训练快得多。最后，该研究方向可用于探索解决广泛几何优化问题（如度量空间中的 $k$-means）的有效神经网络设计。