在坐标网络中权衡位置复杂度与深度
计算机视觉与模式识别
2026-03-16 v2
摘要
众所周知，基于坐标的MLP通过将以傅里叶特征数组形式对坐标位置进行编码，在保留高频信息方面获益。迄今，这些位置编码有效性的原理主要通过傅里叶视角加以研究。本文中，我们努力拓宽该理解，表明替代性的非傅里叶嵌入函数确实可用于位置编码。此外，我们表明其性能完全由嵌入矩阵的稳定秩与嵌入坐标间距离保持之间的权衡所决定。我们进一步确立，当前无处不在的位置傅里叶特征映射是满足这些条件的特例。因此，我们提出一个更通用的理论，以移位基函数的视角分析位置编码。另外，我们论证采用随模式数指数级增长的更复杂位置编码，仅需线性（而非深层）坐标函数即可取得可比性能。反直觉地，我们证明以位置嵌入复杂度换取网络深度比当前最先进方法快数个数量级，尽管存在额外的嵌入复杂度。为此，我们推导出必要的理论公式，并凭经验验证我们的理论主张在实践中的成立。
引用
@article{arxiv.2205.08987,
title = {Trading Positional Complexity vs. Deepness in Coordinate Networks},
author = {Jianqiao Zheng and Sameera Ramasinghe and Xueqian Li and Simon Lucey},
journal= {arXiv preprint arXiv:2205.08987},
year = {2026}
}
备注
arXiv admin note: substantial text overlap with arXiv:2107.02561