面向卷积神经网络理解：通过深度卷积稀疏编码分析激活路径的恢复
机器学习
2021-06-02 v2 机器学习
摘要
深度卷积稀疏编码（D-CSC）是一个令人联想到深度卷积神经网络（DCNNs）的框架，但由于省略了字典的学习，人们可以更透明地分析激活函数的作用及其恢复跨层激活路径的能力。Papyan、Romano 和 Elad 对这种架构进行了分析，展示了其与 DCNNs 的关系，并证明了 D-CSC 保证恢复特定激活路径的条件。他们工作的一个技术创新在于，人们可以通过张量稀疏性的一个新变体（称为条带稀疏性，stripe-sparsity）来审视 DCNN 的 ReLU 非线性激活函数的有效性。利用这一点，他们证明了与数据 ambient 维度成比例的激活密度的表示是可恢复的。我们将他们的均匀性保证扩展到一个修正模型，并证明以高概率通常可以在每层更大激活密度下恢复真实激活。我们的扩展源于结合了 Schnass 和 Vandergheynst 关于一步阈值化的先前工作。
引用
@article{arxiv.1806.09888,
title = {Towards an understanding of CNNs: analysing the recovery of activation pathways via Deep Convolutional Sparse Coding},
author = {Michael Murray and Jared Tanner},
journal= {arXiv preprint arXiv:1806.09888},
year = {2021}
}
备注
Long version (8 pages excluding references) of paper accepted at the IEEE 2018 Data Science Workshop