神经潜几何搜索：基于 Gromov-Hausdorff 度量的贝叶斯优化乘积流形推断
机器学习
2023-10-30 v3 机器学习
摘要
近期研究表明，将潜空间几何与底层数据结构对齐可提升机器学习模型性能。研究者不再仅依赖欧氏空间，而是提出使用具有常曲率的双曲与球面空间，或其组合，以更好地建模潜空间并增强模型性能。然而，自动识别下游任务最优潜几何的问题鲜受关注。我们从数学上定义这一新形式，并称之为神经潜几何搜索（NLGS）。更具体地，在一些简化假设下，我们提出一种初步尝试，以少量查询评估搜索由常曲率模型空间乘积构成的潜几何。为此，我们基于度量几何中的 Gromov-Hausdorff 距离，引入候选潜几何间距离的新概念。为计算 Gromov-Hausdorff 距离，我们引入映射函数，通过将不同流形嵌入公共高维环境空间以实现比较。接着，我们基于潜几何间光滑性概念设计图搜索空间，并将计算距离作为额外归纳偏置。最后，我们使用贝叶斯优化以查询高效方式搜索最优潜几何。这是一种通用方法，可应用于为多种模型和下游任务搜索最优潜几何。我们在合成与真实数据集上实验，为多个机器学习问题确定最优潜几何。
引用
@article{arxiv.2309.04810,
title = {Neural Latent Geometry Search: Product Manifold Inference via Gromov-Hausdorff-Informed Bayesian Optimization},
author = {Haitz Saez de Ocariz Borde and Alvaro Arroyo and Ismael Morales and Ingmar Posner and Xiaowen Dong},
journal= {arXiv preprint arXiv:2309.04810},
year = {2023}
}