点集度量大小的近似计算
机器学习
2024-09-09 v1 度量几何
摘要
度量大小是衡量点云“大小”的度量，具有许多理想的几何属性。它已被适用于各种数学语境，最近的研究表明它可以增强机器学习和优化算法。但由于在数据集大型或需要重复计算（例如在模型训练中）时计算成本高，实际应用受限。本文研究了度量计算问题，展示了高效逼近方法。我们指出它可以作为凸优化问题来刻画，但不能作为亚可调优化问题。论文描述了两种新算法——一种快速收敛且准确的迭代逼近算法，以及一种使计算更快的子集选择方法。此前有人提出，度量大小与模型在随机梯度下降期间生成的序列与泛化间隙相关。使用我们更可扩展的算法扩展此结果表明，更长的序列实际上具有更高的相关性。我们还描述了度量在机器学习中的新应用——作为神经网络训练的有效正则化器，以及作为新的聚类准则。
引用
@article{arxiv.2409.04411,
title = {Approximating Metric Magnitude of Point Sets},
author = {Rayna Andreeva and James Ward and Primoz Skraba and Jie Gao and Rik Sarkar},
journal= {arXiv preprint arXiv:2409.04411},
year = {2024}
}