神经特征函数作为结构化表示学习器
机器学习
2023-12-11 v3
摘要
本文提出一种称为 Neural Eigenmap 的结构化、自适应长度深度表示。与先前的非参数谱方法（如拉普拉斯特征映射）不同，Neural Eigenmap 利用 NeuralEF 通过神经网络参数化建模特征函数。我们表明，当特征函数源自数据增强设置中的正关系时，应用 NeuralEF 得到的客观函数类似于主流自监督学习方法的损失，并带有额外的对称性破缺性质，从而产生特征按重要性排序的\emph{结构化}表示。我们展示了在图像检索系统中将此类表示用作自适应长度编码。通过按特征重要性截断，我们的方法所需表示长度比领先的自监督学习方法短至多 即可达到相近检索性能。我们进一步将方法应用于图数据，并在含超百万节点的节点表示学习基准上报告了强劲结果。
引用
@article{arxiv.2210.12637,
title = {Neural Eigenfunctions Are Structured Representation Learners},
author = {Zhijie Deng and Jiaxin Shi and Hao Zhang and Peng Cui and Cewu Lu and Jun Zhu},
journal= {arXiv preprint arXiv:2210.12637},
year = {2023}
}