局部平滑神经网络
机器学习
2017-11-23 v1 机器学习
摘要
卷积神经网络（CNN）与局部连接层在捕捉不同局部感受野的重要性与关系方面存在局限，而这往往对人脸验证、视觉问答与词序列预测等任务至关重要。为解决该问题，本文提出一种新颖的局部平滑神经网络（LSNN）。其主要思想是将局部连接层的权重矩阵表示为核与平滑子的乘积，其中核在不同局部感受野间共享，平滑子用于确定不同局部感受野的重要性与关系。具体而言，利用多元高斯函数生成平滑子，以建模不同局部感受野间的位置关系。此外，还可通过依据内容设置高斯函数的均值与精度来利用内容信息。在 MNIST 若干变体上的实验清晰显示了我们相对 CNN 与局部连接层的优势。
引用
@article{arxiv.1711.08132,
title = {Locally Smoothed Neural Networks},
author = {Liang Pang and Yanyan Lan and Jun Xu and Jiafeng Guo and Xueqi Cheng},
journal= {arXiv preprint arXiv:1711.08132},
year = {2017}
}
备注
In Proceedings of 9th Asian Conference on Machine Learning (ACML2017)