中文

旗中位数与 FlagIRLS

机器学习 2022-03-10 v1 计算机视觉与模式识别 机器学习 度量几何 最优化与控制

摘要

为数据集寻找原型(例如均值与中位数)是许多常见机器学习算法的核心。子空间已被证明能为图像、视频等数据集提供有用且鲁棒的表示。由于子空间对应于 Grassmann 流形上的点,这引出了对 Grassmann 值数据集考虑子空间原型的想法。尽管已有若干不同的子空间原型被描述,但其中一些原型的计算被证明计算代价高昂,而另一些原型受离群点影响并在含噪数据上产生高度不完美的聚类。本文提出一种新的子空间原型,即旗中位数(flag median),并引入用于其计算的 FlagIRLS 算法。我们提供的证据表明,旗中位数对离群点鲁棒,并可在如 Linde-Buzo-Grey(LBG)等算法中有效使用,以在 Grassmann 流形上产生改进的聚类。数值实验包括合成数据集、MNIST 手写数字数据集、Mind's Eye 视频数据集和 UCF YouTube 动作数据集。将旗中位数与 Grassmann 流形上计算原型的其他主流算法进行比较,即 2\ell_2-中位数与旗均值(flag mean)。我们发现使用 FlagIRLS 计算旗中位数在合成数据集上于 44 次迭代内收敛。我们还看到,在 Mind's Eye 数据集上,使用码本大小为 2020 且采用旗中位数的 Grassmannian LBG 相比使用旗均值或 2\ell_2-中位数的 Grassmannian LBG,在聚类纯度上至少提升 10%10\%

关键词

引用

@article{arxiv.2203.04437,
  title  = {The Flag Median and FlagIRLS},
  author = {Nathan Mankovich and Emily King and Chris Peterson and Michael Kirby},
  journal= {arXiv preprint arXiv:2203.04437},
  year   = {2022}
}