用于图像分析的局部无监督学习
计算机视觉与模式识别
2019-08-27 v1 机器学习
神经与进化计算
神经元与认知
机器学习
摘要
局部赫布学习被认为在性能上不如使用反向传播算法的端到端训练。我们质疑这一流行观点，设计了一种局部算法，能够在大规模图像数据集上学习卷积滤波器。这些滤波器结合块归一化和极陡非线性，使得局部训练的浅层网络（相对于端到端）获得良好的分类准确率。我们的算法学习到的滤波器既包含方向选择性单元，也包含非定向颜色单元，类似于灵长类动物初级视觉皮层中细胞色素氧化酶“斑间区”和“斑块区”内锥体神经元的响应。研究表明，当阴影叠加在标准CIFAR-10图像上时，带块归一化的卷积网络在恢复原始类别的任务上显著优于标准卷积网络。块归一化近似于人眼对平均光强的视网膜适应，这对人类视觉十分重要。我们还展示了在CIFAR-10与ImageNet 32x32数据集之间成功迁移已学表示。所有这些结果共同暗示，局部无监督训练可能是一种直接从无标签数据中学习通用表示（无需指定任务）的有力工具。
引用
@article{arxiv.1908.08993,
title = {Local Unsupervised Learning for Image Analysis},
author = {Leopold Grinberg and John Hopfield and Dmitry Krotov},
journal= {arXiv preprint arXiv:1908.08993},
year = {2019}
}