从圆规直尺到卷积与非线性：理解简单 CNN 求解简单几何估计任务的惊人困难
机器学习
2023-03-14 v1 人工智能
摘要
神经网络无处不在，却仍鲜被理解。其日益增长的复杂性与在关键系统中的应用，提出了完全可解释性的重要挑战。我们提出解决一个简单适定学习问题：使用简单卷积神经网络估计一维信号中居中脉冲或二维图像中居中圆盘的半径。令人惊讶的是，理解训练后网络所学内容十分困难，且在某种程度上反直觉。然而，一维情形下的深入理论分析使我们得以理解由所选架构带来的约束、各滤波器与非线性激活函数的角色，以及模型权重所取的每一个具体值。两个神经网络基础概念浮现：不变性的重要性，以及非线性激活函数形状的重要性。
引用
@article{arxiv.2303.06638,
title = {From Compass and Ruler to Convolution and Nonlinearity: On the Surprising Difficulty of Understanding a Simple CNN Solving a Simple Geometric Estimation Task},
author = {Thomas Dagès and Michael Lindenbaum and Alfred M. Bruckstein},
journal= {arXiv preprint arXiv:2303.06638},
year = {2023}
}