位置嵌入感知激活函数
计算机视觉与模式识别
2026-01-15 v2
摘要
我们提出了一种神经网络架构，旨在自然地学习位置嵌入并克服传统激活函数所面临的对低频的谱偏置。我们提出的架构 SPDER 是一个简单的 MLP，其使用的激活函数由正弦函数乘以次线性函数（称为阻尼函数）构成。正弦使网络能够自动学习输入坐标的位置嵌入，而阻尼函数通过防止实际坐标值被投影到有限值域内从而传递该坐标值。我们的结果表明，在图像表示方面，SPDER 将训练速度加快了 10 倍，并且收敛到的损失比最先进水平低 1,500–50,000 倍。SPDER 在音频表示上也是最先进的。优越的表示能力使 SPDER 在图像超分辨率和视频帧插值等多个下游任务上也表现出色。我们提供了关于 SPDER 相较于其他 INR 方法显著改善拟合且无需超参数调优或预处理的直观解释。
引用
@article{arxiv.2306.15242,
title = {Positional Embedding-Aware Activations},
author = {Kathan Shah and Chawin Sitawarin},
journal= {arXiv preprint arXiv:2306.15242},
year = {2026}
}