深度 SimNets
神经与进化计算
2016-10-18 v2 机器学习
摘要
我们提出了一种推广卷积神经网络（ConvNets）的深度分层架构。该架构称为 SimNets，由两种算子驱动：(i) 推广内积的相似度函数，以及 (ii) 称为 MEX 的 log-mean-exp 函数，其推广了最大值与平均值。这两个算子连续应用产生一个标准神经元，但处于“特征空间”中。SimNets 所实现的特征空间取决于相似度算子的选择。最简单的设置对应于卷积，实现了指数核的特征空间，而其他设置实现了更强大核（广义高斯核，其包含 RBF 和拉普拉斯核作为特例）的特征空间，甚至是动态学习的特征空间（广义多核学习）。因此，与传统 ConvNet 相比，SimNet 包含了更高的抽象层级。我们认为，当网络因运行时约束（例如移动应用所施加的约束）而较小时，增强的表达能力十分重要。实证评估验证了 SimNets 的优越表达能力，表明在运行时计算资源受限时，其准确率相较 ConvNets 有显著提升。我们还表明，在计算复杂度顾虑较少的大规模设置中，SimNets 的额外容量可通过适当的正则化来控制，从而产生与最先进 ConvNets 相当的准确率。
引用
@article{arxiv.1506.03059,
title = {Deep SimNets},
author = {Nadav Cohen and Or Sharir and Amnon Shashua},
journal= {arXiv preprint arXiv:1506.03059},
year = {2016}
}