SpecNet2：基于神经网络的无正交化谱嵌入
机器学习
2022-06-15 v1 机器学习
摘要
用核矩阵或图Laplacian矩阵的特征向量表示数据点的谱方法一直是无人监督数据分析的主要工具。在许多应用场景中，用可在数据样本批次上训练的神经网络的谱嵌入参数化，为实现自动样本外扩展以及计算可扩展性提供了一条有前景的途径。SpectralNet（Shaham等，2018）的原始论文采取了这种方法，我们称之为SpecNet1。本文引入了一种新的神经网络方法，命名为SpecNet2，用于计算谱嵌入，其优化特征问题的一个等价目标并去除了SpecNet1中的正交化层。SpecNet2还允许通过梯度公式跟踪每个数据点的邻居，从而分离图亲和矩阵行与列的采样。理论上，我们证明了新无正交化目标的任意局部极小者都揭示了前导特征向量。此外，证明了使用基于批次的梯度下降方法对该新无正交化目标的全局收敛性。数值实验在模拟数据和图像数据集上展示了SpecNet2改进的性能和计算效率。
引用
@article{arxiv.2206.06644,
title = {SpecNet2: Orthogonalization-free spectral embedding by neural networks},
author = {Ziyu Chen and Yingzhou Li and Xiuyuan Cheng},
journal= {arXiv preprint arXiv:2206.06644},
year = {2022}
}