PoM：基于多项式混合器的线性时间自注意力替代方案
计算机视觉与模式识别
2026-04-08 v1 人工智能
摘要
本文提出多项式混合器（PoM），这是一种具有线性复杂度的新型词元混合机制，可作为自注意力的即插即用替代方案。PoM 通过学习到的多项式函数将输入词元聚合为紧凑表示，每个词元从中检索上下文信息。我们证明 PoM 满足上下文映射性质，确保配备 PoM 的 Transformer 仍然是通用序列到序列逼近器。我们在五个不同领域中用 PoM 替代标准自注意力：文本生成、手写文本识别、图像生成、3D 建模和地球观测。PoM 在处理长序列时，在大幅降低计算成本的同时达到了基于注意力模型的性能。代码可在 https://github.com/davidpicard/pom 获取。
引用
@article{arxiv.2604.06129,
title = {PoM: A Linear-Time Replacement for Attention with the Polynomial Mixer},
author = {David Picard and Nicolas Dufour and Lucas Degeorge and Arijit Ghosh and Davide Allegro and Tom Ravaud and Yohann Perron and Corentin Sautier and Zeynep Sonat Baltaci and Fei Meng and Syrine Kalleli and Marta López-Rauhut and Thibaut Loiseau and Ségolène Albouy and Raphael Baena and Elliot Vincent and Loic Landrieu},
journal= {arXiv preprint arXiv:2604.06129},
year = {2026}
}
备注
Accepted to CVPR Findings 2026