SplineNets：连续神经决策图
机器学习
2018-11-01 v1 机器学习
摘要
我们提出 SplineNets，一种在卷积神经网络（CNNs）中使用条件化的实用且新颖的方法。SplineNets 是神经决策图的连续推广，它们能显著降低 CNN 的运行复杂度和计算成本，同时保持甚至提高准确率。SplineNets 的函数既是动态的（即由输入条件化）又是分层的（即由计算路径条件化）。SplineNets 采用统一的损失函数，在网络和决策参数上具备所需的平滑度，同时允许对单个样本稀疏激活节点子集。特别地，我们将无穷多个函数权重（如滤波器）嵌入由紧致 B 样条参数化的光滑低维流形上，并由位置参数索引。样本不是从类别分布中采样以选择分支，而是选择一个连续位置来选取函数权重。我们进一步表明，通过最大化样条位置与类别标签之间的互信息，网络可被最优地利用并专用于分类任务。实验表明，我们的方法能以可忽略的速度代价显著提高 ResNets 的准确率，用 32 层 SplineNet 即可匹配 110 层 ResNet 的精度。
引用
@article{arxiv.1810.13118,
title = {SplineNets: Continuous Neural Decision Graphs},
author = {Cem Keskin and Shahram Izadi},
journal= {arXiv preprint arXiv:1810.13118},
year = {2018}
}
备注
Accepted to NIPS 2018