中文

基于离散-连续(DISCO)卷积的可扩展等变球面CNN

计算机视觉与模式识别 2023-01-31 v3 天体物理仪器与方法 机器学习

摘要

现有球面卷积神经网络(CNN)框架无一同时具备计算可扩展性与旋转等变性。连续方法能保持旋转等变性,但计算开销往往 prohibitively 大;离散方法计算性能更优,却以牺牲等变性为代价。我们提出一种混合离散-连续(DISCO)群卷积,同时具备等变性与面向高分辨率的计算可扩展性。尽管我们的框架可应用于任意紧群,我们专用于球面。我们的DISCO球面卷积展现SO(3)\text{SO}(3)旋转等变性,其中SO(n)\text{SO}(n)表示nn维旋转的特殊正交群。当将卷积旋转限制于商空间SO(3)/SO(2)\text{SO}(3)/\text{SO}(2)以进一步提升计算效率时,我们恢复了一种渐近SO(3)\text{SO}(3)旋转等变形式。通过稀疏张量实现,我们在球面上像素数量上实现了计算成本与内存使用的线性缩放。对于4k球面图像,与最高效的替代等变球面卷积相比,我们实现了10910^9的计算成本节省与10410^4的内存使用节省。我们将DISCO球面CNN框架应用于球面上若干基准密集预测问题,如语义分割与深度估计,并在所有问题上均取得最先进(SOTA)性能。

关键词

引用

@article{arxiv.2209.13603,
  title  = {Scalable and Equivariant Spherical CNNs by Discrete-Continuous (DISCO) Convolutions},
  author = {Jeremy Ocampo and Matthew A. Price and Jason D. McEwen},
  journal= {arXiv preprint arXiv:2209.13603},
  year   = {2023}
}

备注

19 pages, 7 figures, accepted by ICLR 2023