基于偏微分方程的群等变卷积神经网络
摘要
我们提出了一种基于偏微分方程（PDE）的框架，推广了群等变卷积神经网络（G-CNNs）。在该框架中，网络层被视为一组 PDE 求解器，其中具有几何意义的 PDE 系数成为该层的可训练权重。在齐性空间上表述我们的 PDE，使得这些网络在设计时就内置了诸如旋转等对称性，以及 CNN 的标准平移等变性。由于所有期望的对称性都已包含在设计中，无需通过数据增强等代价高昂的技术来引入它们。我们将在一般齐性空间设定下讨论我们的基于 PDE 的 G-CNNs（PDE-G-CNNs），同时也会深入我们主要关注的具体情况：旋转-平移等变性。我们通过线性群卷积与非线性形态学群卷积的结合来求解相关 PDE，并采用解析核近似，我们以形式化定理为其提供支撑。我们的核近似允许对 PDE 求解器进行快速 GPU 实现，我们在本文中以 PyTorch 的 LieTorch 扩展形式发布我们的实现，可在 https://gitlab.com/bsmetsjr/lietorch 获取。就像线性卷积一样，形态学卷积由我们在 PDE-G-CNNs 中训练的核指定。在 PDE-G-CNNs 中，我们不使用诸如最大/最小池化和 ReLU 之类的非线性，因为它们已被形态学卷积所涵盖。我们提供了一组实验，以证明所提出的 PDE-G-CNNs 在以远少于传统 CNN 的参数提升基于深度学习的成像应用性能方面的优势。
引用
@article{arxiv.2001.09046,
title = {PDE-based Group Equivariant Convolutional Neural Networks},
author = {Bart Smets and Jim Portegies and Erik Bekkers and Remco Duits},
journal= {arXiv preprint arXiv:2001.09046},
year = {2022}
}
备注
27 pages, 18 figures. v2 changes: - mentioned KerCNNs - added section Generalization of G-CNNs - clarification that the experiments utilized automatic differentiation and SGD. v3 changes: - streamlined theoretical framework - formulation and proof Thm.1 & 2 - expanded experiments. v4 changes: typos in Prop.5 and (20) v5/6 changes: minor revision