神经随机子空间
机器学习
2020-09-16 v3 计算机视觉与模式识别
机器学习
摘要
随机子空间方法作为随机森林的支柱，擅长做出精确且鲁棒的预测。然而，目前尚无直接方式将其与深度学习结合。为此，本文提出神经随机子空间（NRS），一种基于深度学习的新型随机子空间方法。与以往的森林方法不同，NRS享有端到端、数据驱动表示学习的优势，以及深度学习软硬件平台的广泛支持，从而实现更快的推理速度与更高的准确率。此外，作为编码进卷积神经网络（CNN）的非线性组件，NRS比以往的高阶池化方法更高效地在CNN中学习非线性特征表示，以参数、浮点运算（FLOPs）和真实运行时间可忽略的增加产生良好结果。相较于随机子空间、随机森林和梯度提升决策树（GBDT），NRS在35个机器学习数据集上取得更优性能。此外，在2D图像与3D点云识别任务上，NRS与CNN架构的集成以微小的额外代价实现了一致的提升。代码见 https://github.com/CupidJay/NRS_pytorch。
引用
@article{arxiv.1911.07845,
title = {Neural Random Subspace},
author = {Yun-Hao Cao and Jianxin Wu and Hanchen Wang and Joan Lasenby},
journal= {arXiv preprint arXiv:1911.07845},
year = {2020}
}
备注
38 pages