用于Wasserstein判别分析的双层非线性特征向量算法
机器学习
2023-07-31 v2 机器学习
摘要
如同经典的Fisher线性判别分析（LDA），近期提出的Wasserstein判别分析（WDA）是一种线性降维方法，通过双层优化寻求投影矩阵以最大化不同数据类间的离散度并最小化同类数据间的离散度。与LDA不同，WDA可利用最优传输的基本原理刻画数据类之间全局与局部的相互关联。本文提出一种双层非线性特征向量算法（WDA-nepv），以充分挖掘WDA双层优化的结构。WDA-nepv的内层用于计算最优传输矩阵，被表述为特征值依赖的非线性特征值问题（NEPv）；同时，外层用于迹比优化，被表述为另一个NEPv。两个NEPv均可在自洽场（SCF）框架下高效计算。与现有算法相比，WDA-nepv无需导数且无需代理模型。所提WDA-nepv的收敛性分析论证了使用SCF求解WDA双层优化的合理性。在合成与真实数据集上的数值实验展示了WDA-nepv的分类精度与可扩展性。
引用
@article{arxiv.2211.11891,
title = {A Bi-level Nonlinear Eigenvector Algorithm for Wasserstein Discriminant Analysis},
author = {Dong Min Roh and Zhaojun Bai and Ren-Cang Li},
journal= {arXiv preprint arXiv:2211.11891},
year = {2023}
}