深度网络中的分离与集中
机器学习
2021-03-16 v2 计算机视觉与模式识别
摘要
数值实验表明，深度神经网络分类器逐步将类分布围绕其均值分离，在训练集上实现线性可分性，并提高 Fisher 判别比。我们用两类算子解释这一机制。我们证明，应用于符号不变紧框架的无偏置整流器能够分离类均值并提高 Fisher 比。相反，紧框架上的软阈值化可以在保持类均值的同时减小类内变异性。针对高斯混合模型证明了方差缩减界。对于图像分类，我们表明类均值的分离可以通过未学习的整流小波紧框架实现。它定义了一个散射变换。沿散射通道学习 卷积紧框架并应用软阈值化可减小类内变异性。所得到的散射网络在 CIFAR-10 和 ImageNet 上达到了 ResNet-18 的分类精度，且层数更少且无学习偏置。
引用
@article{arxiv.2012.10424,
title = {Separation and Concentration in Deep Networks},
author = {John Zarka and Florentin Guth and Stéphane Mallat},
journal= {arXiv preprint arXiv:2012.10424},
year = {2021}
}