通过 Fréchet 均值进行微分
机器学习
2021-07-07 v4 机器学习
摘要
黎曼流形上深度表示学习的最新进展将经典深度学习操作扩展以更好地刻画流形几何。一种可能的扩展是 Fréchet 均值,即欧氏均值的推广;然而,由于它缺乏具有易计算导数的闭式表达,一直难以应用。在本文中,我们展示如何对任意黎曼流形通过 Fréchet 均值进行微分。随后,聚焦于双曲空间,我们导出显式梯度表达式以及一个快速、精确且无超参数的 Fréchet 均值求解器。这将 Fréchet 均值完全整合进双曲神经网络流程。为展示该整合,我们给出两个案例研究。第一,我们将所提 Fréchet 均值应用于已有的 Hyperbolic Graph Convolutional Network,替换其投影聚合,从而在高度双曲的数据集上取得最先进结果。第二,为展示 Fréchet 均值推广欧氏神经网络操作的能力,我们开发了双曲批量归一化方法,其带来的提升与欧氏设定中观察到的相仿。
关键词
引用
@article{arxiv.2003.00335,
title = {Differentiating through the Fr\'echet Mean},
author = {Aaron Lou and Isay Katsman and Qingxuan Jiang and Serge Belongie and Ser-Nam Lim and Christopher De Sa},
journal= {arXiv preprint arXiv:2003.00335},
year = {2021}
}
备注
ICML 2020 camera-ready; updated Algorithm 1 typo