几何导向的等变神经场
机器学习
2025-02-10 v5 人工智能
计算机视觉与模式识别
摘要
条件神经场（CNFs）正日益被用于连续信号表示，通过将每个数据样本关联到一个潜变量来条件化共享的基础神经场（NeF）以重构该样本。然而，现有CNF架构在使用该潜变量进行需要精细几何推理的任务（如分类和分割）时面临局限性。我们认为，这源于CNF潜空间缺乏对几何信息（例如信号中的局部性或特征方向）的显式建模。因此，我们提出等变神经场（ENFs），一种新的CNF架构，该架构使用几何信息的交叉注意力机制将NeF条件化于几何变量——一种特征点云潜表示，从而实现从潜空间到场的等变解码。我们展示，这种方法通过引导可转移性质，使场和潜空间都根植于几何之中，并且适用于转换定律：如果场发生变换，潜表示相应地变换——反之亦然。关键的是，这种等变性关系确保潜空间能够（1）忠实地表示几何模式，实现潜空间中的几何推理，以及（2）对类似局部模式进行权值共享，实现对场数据集的高效学习。在包括分类、分割、预测、重建和生成建模在内的多个任务中，我们在几何自由潜空间的基线模型之上实现了显著改进。附带代码链接 https://github.com/Dafidofff/enf-jax。简化版代码仓库链接 https://github.com/david-knigge/enf-min-jax。
引用
@article{arxiv.2406.05753,
title = {Grounding Continuous Representations in Geometry: Equivariant Neural Fields},
author = {David R Wessels and David M Knigge and Samuele Papa and Riccardo Valperga and Sharvaree Vadgama and Efstratios Gavves and Erik J Bekkers},
journal= {arXiv preprint arXiv:2406.05753},
year = {2025}
}