草图与平移：一种鲁棒的压缩聚类解码器
机器学习
2024-06-18 v2 机器学习
摘要
压缩学习是一种新兴方法，通过首先将大型数据集概括为低维草图向量，然后从该草图解码学习所需的潜在信息，从而大幅降低大规模学习的内存占用。鉴于基于随机特征的草图在信息保留保证方面的最新进展，一个主要目标是设计易于调参的算法（称为解码器），以鲁棒且高效地提取这些信息。为了解决底层的非凸优化问题，人们提出了各种启发式方法。在压缩聚类的情况下，标准启发式方法是 CL-OMPR，即滑动 Frank-Wolfe 算法的一种变体。然而，CL-OMPR 难以调参，且对其鲁棒性的考察被忽略了。在这项工作中，我们对 CL-OMPR 进行了细致的检查以规避其局限性。特别地，我们展示了即使在有利的场景下，该算法也无法恢复聚类。为了获得深入见解，我们展示了该算法的缺陷如何归因于与算法核心步骤出现的相关函数结构相关的优化困难。为了解决这些局限性，我们提出了一种替代解码器，相较于 CL-OMPR 提供了实质性的改进。其设计特别受到 mean shift 算法的启发，这是一种检测核密度估计局部极大值的经典方法。所提出的算法能够从比以前小 10 倍的 MNIST 数据集草图中提取聚类信息。
引用
@article{arxiv.2312.09940,
title = {Sketch and shift: a robust decoder for compressive clustering},
author = {Ayoub Belhadji and Rémi Gribonval},
journal= {arXiv preprint arXiv:2312.09940},
year = {2024}
}