K-Deep Simplex:基于局部字典的深度流形学习
机器学习
2024-08-01 v4 信息论
信号处理
math.IT
最优化与控制
摘要
我们提出 K-Deep Simplex(KDS),其在给定数据点集合的条件下,学习一个由合成地标点构成的字典,以及支撑于单纯形上的表示系数。KDS 采用局部加权 惩罚,鼓励每个数据点以邻近地标的凸组合来表示自身。我们使用交替最小化求解所提优化问题,并通过算法展开设计了一种高效、可解释的自动编码器。我们将 KDS 中的加权 惩罚与加权 规划相联系,从理论分析了所提规划。假设数据由德劳内三角剖分生成,我们证明了加权 与加权 规划的等价性。我们进一步在温和几何假设下展示了表示系数的稳定性。若表示系数固定,我们证明关于字典最小化子问题存在唯一解。此外,我们表明低维表示可由系数矩阵的协方差高效获得。实验表明该算法高效,并在合成与真实数据集上表现具竞争力。
引用
@article{arxiv.2012.02134,
title = {K-Deep Simplex: Deep Manifold Learning via Local Dictionaries},
author = {Pranay Tankala and Abiy Tasissa and James M. Murphy and Demba Ba},
journal= {arXiv preprint arXiv:2012.02134},
year = {2024}
}
备注
33 pages, 17 figures. This expanded version includes detailed numerical experiments in the supplementary material. Theorem 3 is a new stability result. The sections have been reorganized, and additional details have been provided for clarity