快速树场积分器：从低位移秩到拓扑Transformer
机器学习
2024-12-09 v2 人工智能
摘要
我们基于结构化矩阵理论（特别是低位移秩）提出了一类新的快速多对数线性算法，用于积分定义在加权树上的张量场。展示了所得到的快速树场积分器（FTFI）的若干应用，包括：(a) 用树度量近似图度量，(b) 图分类，(c) 网格上的建模，以及(d) 用于图像的拓扑Transformer（TTs）（Choromanski 等人，2022）。对于拓扑Transformer，我们提出了新的相对位置编码（RPE）掩码机制，每个Transformer层仅需三个额外的可学习参数，从而获得1.0-1.5%以上的精度提升。重要的是，大多数FTFI是精确方法，因此在数值上等价于其暴力计算对应方法。当应用于具有数千个节点的图时，这些精确算法提供了5.7-13倍的加速。我们还对我们的方法进行了广泛的理论分析。
引用
@article{arxiv.2406.15881,
title = {Fast Tree-Field Integrators: From Low Displacement Rank to Topological Transformers},
author = {Krzysztof Choromanski and Arijit Sehanobish and Somnath Basu Roy Chowdhury and Han Lin and Avinava Dubey and Tamas Sarlos and Snigdha Chaturvedi},
journal= {arXiv preprint arXiv:2406.15881},
year = {2024}
}
备注
NeurIPS 2024