RelFlexformer：面向可积分相对位置编码的高效注意力 3D-Transformer
机器学习
2026-05-12 v1
摘要
我们提出了一种新的高效注意力机制，应用由任意可积分调制函数 给定的通用 3D 相对位置编码 (RPE) 方法，导致形成称为 \textit{RelFlexformers} 的新型 3D-Transformer 模型，灵活地将这些 RPEs 集成其中，其注意力计算具有 的时间复杂度，其中 为输入序列的长度。RelFlexformers 基于非均匀傅里叶变换 (NU-FFT) 的理论，自然地将从结构化设置中（即令在未加权网格中均匀嵌入的标记）推广到一般非结构化异构场景，其中标记的位置在相应的 3D 空间中任意分布。因此，RelFlexformers 可特别应用于模型点云。我们的广泛经验评估在大型 3D 数据集组合上确认了 NU-FFT 驱动的注意力调制技术在 RelFlexformers 中提供的质量改进。
引用
@article{arxiv.2605.10706,
title = {RelFlexformer: Efficient Attention 3D-Transformers for Integrable Relative Positional Encodings},
author = {Byeongchan Kim and Arijit Sehanobish and Avinava Dubey and Min-hwan Oh and Krzysztof Choromanski},
journal= {arXiv preprint arXiv:2605.10706},
year = {2026}
}