面向点集的采样Transformer
机器学习
2023-03-01 v1
摘要
稀疏Transformer可以将自注意力层的计算复杂度降低到，同时仍然是连续序列到序列函数的通用近似器。然而，这种置换变体操作不适合直接应用于集合。在本文中，我们提出了一种复杂度为的采样Transformer，它可以直接处理点集元素而无需任何额外的归纳偏置。我们的采样Transformer引入了随机元素采样，将点集随机划分为子集，随后对每个子集应用共享的哈密顿自注意力机制。整体注意力机制可以看作是完全注意力图中的哈密顿回路，点集元素的置换等价于随机采样哈密顿回路。该机制实现了对稠密注意力连接的蒙特卡洛模拟。我们表明它是连续集到集函数的通用近似器。在点云上的实验结果表明，与稠密Transformer或其他稀疏注意力方案相比，其准确率相当或更好，且计算复杂度显著降低。
关键词
引用
@article{arxiv.2302.14346,
title = {Sampled Transformer for Point Sets},
author = {Shidi Li and Christian Walder and Alexander Soen and Lexing Xie and Miaomiao Liu},
journal= {arXiv preprint arXiv:2302.14346},
year = {2023}
}