斐波那契网络：位置编码的简单替代方案
机器学习
2024-11-11 v1
摘要
基于坐标的多层感知器（MLPs）已知难以重构训练数据的高频部分。解决此问题的常用方法是位置编码（PE），它已变得非常流行。然而，PE 存在缺点。它具有高频伪影，并添加了另一个超超参数，就像批归一化和 dropout 一样。我们认为在某些情况下 PE 是不必要的，通过更聪明的网络架构构建和更聪明的训练方法就足以实现类似的结果。在本文中，我们表明非常简单的 MLPs 在给定半频率和四分之一频率输入时可以相当容易地输出一个频率。利用这一点，我们以块为单位设计了一种网络架构，其中每个块的输入是前两个块的输出以及原始输入。我们称之为斐波那契网络。通过让每个块在信号的对应频率上进行训练，我们表明斐波那契网络可以重构任意高频。
引用
@article{arxiv.2411.05052,
title = {The Fibonacci Network: A Simple Alternative for Positional Encoding},
author = {Yair Bleiberg and Michael Werman},
journal= {arXiv preprint arXiv:2411.05052},
year = {2024}
}