深度学习中的几何优化综述：从欧氏空间到黎曼流形
机器学习
2023-02-17 v1
摘要
尽管深度学习(DL)在复杂人工智能(AI)任务中取得了成功，但由于在欧氏空间中更新参数无法充分利用解空间的几何结构，它受到各种臭名昭著的问题（例如特征冗余、梯度消失或爆炸）的困扰。作为一种有前景的替代方案，基于黎曼的 DL 使用几何优化在黎曼流形上更新参数，并能够利用潜在的几何信息。据此，本文提出了一份在 DL 中应用几何优化的全面综述。首先，本文介绍几何优化的基本流程，包括各种几何优化器以及一些黎曼流形的概念。随后，本文考察几何优化在不同 AI 任务中各类 DL 网络的应用，例如卷积神经网络、循环神经网络、迁移学习和最优传输。此外，还讨论了在流形上实现优化的典型公开工具箱。最后，本文在图像识别场景下对不同深度几何优化方法进行了性能比较。
引用
@article{arxiv.2302.08210,
title = {A Survey of Geometric Optimization for Deep Learning: From Euclidean Space to Riemannian Manifold},
author = {Yanhong Fei and Xian Wei and Yingjie Liu and Zhengyu Li and Mingsong Chen},
journal= {arXiv preprint arXiv:2302.08210},
year = {2023}
}
备注
41 pages