Harmformer：调和网络与变换器融合以实现连续旋转-平移等变性
计算机视觉与模式识别
2024-11-07 v1
摘要
CNN 在图像平移方面具有固有的等变性，从而实现了高效的参数和数据利用、更快的学习和更强的鲁棒性。平移等变网络的概念已成功通过群卷积扩展到离散旋转群，并通过调和函数扩展到包含 360° 的连续旋转群。我们探索了 SA 机制与完整旋转等变性的兼容性，这与先前聚焦于离散旋转的研究形成对比。我们提出了 Harmformer，一个具有卷积干（stem）的调和变换器，实现了对平移和连续旋转的等变性。伴随端到端的等变性证明，Harmformer 不仅超越了先前的等变变换器，而且即使在训练期间未见过旋转样本，也展现出在任何连续旋转下的固有稳定性。
引用
@article{arxiv.2411.03794,
title = {Harmformer: Harmonic Networks Meet Transformers for Continuous Roto-Translation Equivariance},
author = {Tomáš Karella and Adam Harmanec and Jan Kotera and Jan Blažek and Filip Šroubek},
journal= {arXiv preprint arXiv:2411.03794},
year = {2024}
}
备注
Appears in NeurIPS 2024 Workshop on Symmetry and Geometry in Neural Representations