Frank-Wolfe 网络：一种用于非稀疏编码的可解释深层结构

$L_p$ 范数约束编码问题是将信号转换为位于 $L_p$ 球内且最能忠实重建信号的编码。先前以稀疏编码为名的工作考虑了 $L_0$ 和 $L_1$ 范数的情形。本文所研究的 $p>1$ 的情形，即非稀疏编码，仍然是一个难点。我们提出了一种可解释的深层结构，称为 Frank-Wolfe 网络（F-W Net），其架构受启发于展开并截断用于求解 $p\geq 1$ 的 $L_p$ 范数约束问题的 Frank-Wolfe 算法。我们表明，用于 $L_p$ 范数约束的 Frank-Wolfe 求解器导出了一种新颖的闭式非线性单元，其由 $p$ 参数化并称为 $pool_p$。$pool_p$ 单元将传统的池化、激活和归一化操作联系起来，使 F-W Net 区别于现有的或是启发式设计或是从投影梯度下降算法转换而来的深度网络。我们进一步表明，超参数 $p$ 可以在 F-W Net 中设为可学习而非预先选定，这优雅地解决了即便 $p$ 未知时的非稀疏编码问题。我们在大量仿真以及手写数字识别任务上评估了 F-W Net 的性能，其中 F-W Net 展现出强大的学习能力。我们随后提出了 F-W Net 的卷积版本，并将卷积 F-W Net 应用于图像去噪和超分辨率任务，其中 F-W Net 均展现出令人印象深刻的效能、灵活性与鲁棒性。