基于多模型最小二乘的大数据分析重计算框架
机器学习
2021-03-04 v4
摘要
大多数基于多层最小二乘（LS）的神经网络由两个独立阶段构成：无监督特征编码与有监督模式分类。一旦无监督学习完成，潜在编码将被固定而不进行有监督微调。然而，在处理 ImageNet 数据集等复杂任务时，往往存在更多可直接编码的线索，而无监督学习按定义无法确切知道对特定任务有何用处。这成为重新训练潜在空间表示以学习无监督学习尚未学到的一些线索的动机。具体而言，将输出层的误差矩阵反传至每个隐藏层，并利用 Moore-Penrose（MP）逆重新计算隐藏层参数以获得更具泛化性的表示。本文提出了一种使用 MP 逆的基于重计算的多层网络（RML-MP）。进而提出一种稀疏 RML-MP（SRML-MP）模型以提升 RML-MP 的性能。在训练样本量变化（从 3 K 到 1.8 M）下的实验结果表明，所提模型比大多数表示学习算法具有更好的泛化性能。
引用
@article{arxiv.2101.01271,
title = {Multi-Model Least Squares-Based Recomputation Framework for Large Data Analysis},
author = {Wandong Zhang and QM Jonathan Wu and Yimin Yang and WG Will Zhao and Tianlei Wang and Hui Zhang},
journal= {arXiv preprint arXiv:2101.01271},
year = {2021}
}