注意力优于线性：用于快速隐式神经表示生成
计算机视觉与模式识别
2024-07-23 v1
摘要
隐式神经表示（INR）因作为数据表示方法而日益受到欢迎，成为创新生成模型的先决条件。不同于梯度方法在推理阶段效率较低，采用超网络生成多层感知器（MLP）参数——负责执行INR功能的MLP——已成为一种有前景且高效的替代方案。然而，作为全局连续函数，MLP在建模高度不连续信号方面存在挑战，导致训练阶段收敛缓慢和重构精度不准。此外，MLP需要大量表示参数，这意味着数据表示效率低下。本文提出一种新型基于注意力的局部化INR（ANR），由局部注意力层（LAL）和集成坐标特征与数据特征的全局MLP组成，将其转换为有意义的输出。随后，我们设计了一个实例表示框架，提供类似Transformer的超网络，将数据实例表示为紧凑的表示向量。结合实例特定的表示向量和实例不可变的ANR参数，目标信号作为连续函数得到良好重构。我们进一步在获取超分辨率推理结果时，通过可变坐标解决别名问题。广泛的实验在四个数据集上展示了ANR方法的显著效果，例如在CelebA数据集上将PSNR值从37.95dB提升至47.25dB。代码已发布于https://github.com/Roninton/ANR。
引用
@article{arxiv.2407.15355,
title = {Attention Beats Linear for Fast Implicit Neural Representation Generation},
author = {Shuyi Zhang and Ke Liu and Jingjun Gu and Xiaoxu Cai and Zhihua Wang and Jiajun Bu and Haishuai Wang},
journal= {arXiv preprint arXiv:2407.15355},
year = {2024}
}
备注
Accept by ECCV 2024