神经网络中的相位坍缩
机器学习
2022-03-22 v2 信号处理
机器学习
摘要
深度卷积分类器对图像类别进行线性分离，并随深度增加而提高准确率。它们逐步缩减空间维度，而通道数随深度增长。因此，空间变异性被转化为沿通道的变异性。一个根本挑战是理解非线性与卷积滤波器在这一变换中的作用。带偏置的 ReLU 常被解释为通过稀疏性提升判别力的阈值算子。本文证明，是一种称为相位坍缩的不同机制消除了空间变异性，同时对类别进行线性分离。我们表明，坍缩复小波系数的相位足以达到相似深度的 ResNet 的分类准确率。然而，用强制稀疏的阈值算子替换相位坍缩会严重降低性能。我们通过证明相位坍缩的迭代逐步改善类别分离（与阈值非线性相反）来解释这些数值结果。
引用
@article{arxiv.2110.05283,
title = {Phase Collapse in Neural Networks},
author = {Florentin Guth and John Zarka and Stéphane Mallat},
journal= {arXiv preprint arXiv:2110.05283},
year = {2022}
}
备注
17 pages, 2 figures