基于低秩近似的神经Fisher核表征学习
机器学习
2022-02-07 v1
摘要
本文中，我们从核的视角研究神经网络的表征。我们首先定义神经Fisher核（NFK），即应用于神经网络的Fisher核。我们展示NFK可对监督与无监督学习模型计算，可作为表征提取的统一工具。进而，我们展示实际NFK呈现低秩结构。我们随后提出一种高效算法计算NFK的低秩近似，可扩展至大型数据集与网络。我们展示源自无监督生成模型与监督学习模型的NFK低秩近似给出数据的高质量紧致表征，在多种机器学习任务上取得有竞争力结果。
引用
@article{arxiv.2202.01944,
title = {Learning Representation from Neural Fisher Kernel with Low-rank Approximation},
author = {Ruixiang Zhang and Shuangfei Zhai and Etai Littwin and Josh Susskind},
journal= {arXiv preprint arXiv:2202.01944},
year = {2022}
}