谱、概率与深度度量学习：教程与综述
机器学习
2022-01-25 v1 计算机视觉与模式识别
机器学习
摘要
这是一篇关于度量学习的教程与综述论文。算法被划分为谱度量学习、概率度量学习和深度度量学习。我们首先从距离度量、马哈拉诺比斯距离和广义马哈拉诺比斯距离的定义出发。在谱方法中，我们从利用数据散度的方法开始，包括首个谱度量学习、与Fisher判别分析相关的方法、相关成分分析(RCA)、判别成分分析(DCA)以及Fisher-HSIC方法。随后涵盖大间隔度量学习、不平衡度量学习、局部线性度量自适应和对抗度量学习。我们还解释了特征空间中用于度量学习的若干核谱方法。我们也介绍了黎曼流形上的几何度量学习方法。在概率方法中，我们从输入与特征空间中的类别坍缩开始，进而解释邻域成分分析方法、贝叶斯度量学习、信息论方法以及度量学习中的经验风险最小化。在深度学习方法中，我们首先介绍用于度量学习的重构自编码器和有监督损失函数。随后解释孪生网络及其各种损失函数、三元组挖掘和三元组采样。也综述了基于Fisher判别分析的深度判别分析方法。最后，我们介绍了多模态深度度量学习、基于神经网络的几何度量学习以及少样本度量学习。
引用
@article{arxiv.2201.09267,
title = {Spectral, Probabilistic, and Deep Metric Learning: Tutorial and Survey},
author = {Benyamin Ghojogh and Ali Ghodsi and Fakhri Karray and Mark Crowley},
journal= {arXiv preprint arXiv:2201.09267},
year = {2022}
}
备注
To appear as a part of an upcoming textbook on dimensionality reduction and manifold learning