利用永久随机连接体从数据中学习非参数不变性
机器学习
2020-08-17 v3 计算机视觉与模式识别
神经与进化计算
机器学习
摘要
监督分类乃至一般机器学习中的一个基本问题，是对数据中存在的非参数不变性进行建模。大多数先前工作侧重于以对数据中预期出现的参数化干扰变换的不变性形式来施加先验。直接从数据中学习非参数不变性仍是一个重要的开放问题。本文为卷积网络引入了一种新的架构层，能够直接从数据中学习一般不变性。该层可学习对非参数变换的不变性，且有意思的是，它催生并融合了永久随机连接体，因此被称为永久随机连接体非参数变换网络 (PRC-NPTN)。PRC-NPTN 网络以随机连接（不仅是权重）初始化，这些连接是全连接卷积层中连接的一小部分子集。重要的是，PRC-NPTN 中的这些连接一旦初始化，在训练和测试期间始终保持永久不变。永久随机连接体使这些架构比其他许多需要高度有序结构的主流网络架构在生物学上更松散地合理。我们将随机初始化连接作为一种简单方法来从数据本身学习不变性，同时唤起对多个干扰变换的不变性。我们发现这些随机初始化的永久连接对泛化有正向作用，在强制从数据本身学习不变性的基准上优于大得多的 ConvNet 基线和最近提出的非参数变换网络 (NPTN)。
引用
@article{arxiv.1911.05266,
title = {Learning Non-Parametric Invariances from Data with Permanent Random Connectomes},
author = {Dipan K. Pal and Akshay Chawla and Marios Savvides},
journal= {arXiv preprint arXiv:1911.05266},
year = {2020}
}
备注
Preprint (accepted at NeurIPS SVRHM 2019 Workshop)