从偏微分方程与变分方法设计旋转不变神经网络
机器学习
2022-03-21 v2 数值分析
偏微分方程分析
数值分析
摘要
偏微分方程（PDE）模型及其关联的变分能量形式通常在设计上具有旋转不变性。这确保了输入的旋转会导致输出的相应旋转，在图像分析等应用中是理想的。卷积神经网络（CNN）不具备此性质，现有补救方法往往复杂。本文的目标是研究扩散与变分模型如何实现旋转不变性，并将这些思想迁移到神经网络中。作为核心创新，我们提出通过组合多个定向滤波器的信息来耦合网络通道的激活函数。这在网络基本构建块内保证了旋转不变性，同时仍允许定向滤波。所得神经架构具有固有的旋转不变性。仅需少量小滤波器，它们即可达到现有需要精细方向采样的技法同等的不变性。我们的发现有助于将扩散与变分模型转化为数学上根基扎实的网络架构，并为基于模型的 CNN 设计提供新概念。
引用
@article{arxiv.2108.13993,
title = {Designing Rotationally Invariant Neural Networks from PDEs and Variational Methods},
author = {Tobias Alt and Karl Schrader and Joachim Weickert and Pascal Peter and Matthias Augustin},
journal= {arXiv preprint arXiv:2108.13993},
year = {2022}
}