SORT：用于视觉识别的二阶响应变换
计算机视觉与模式识别
2017-09-15 v3
摘要
在本文中，我们揭示了将二阶运算引入深度神经网络的重要性和益处。我们提出一种名为二阶响应变换（Second-Order Response Transform, SORT）的新方法，其在双分支网络模块的线性求和上附加逐元素乘积变换。SORT的直接优势是促进跨分支响应传播，使每个分支能基于另一分支的当前状态更新其权重。此外，SORT扩充了变换操作族并增加了网络的非线性，使得学习灵活函数以拟合特征空间的复杂分布成为可能。SORT可应用于广泛的网络架构，包括链式网络的分支变体和残差网络，且修改非常轻量。我们在小型（CIFAR10、CIFAR100和SVHN）和大型（ILSVRC2012）数据集上均观察到一致的准确率提升。此外，SORT非常高效，额外计算开销小于5%。
引用
@article{arxiv.1703.06993,
title = {SORT: Second-Order Response Transform for Visual Recognition},
author = {Yan Wang and Lingxi Xie and Chenxi Liu and Ya Zhang and Wenjun Zhang and Alan Yuille},
journal= {arXiv preprint arXiv:1703.06993},
year = {2017}
}
备注
To appear in ICCV 2017 (10 pages, 4 figures)