超越周期性：坐标多层感知机中激活函数的统一框架
机器学习
2022-03-21 v2
摘要
坐标-MLP（coordinate-MLPs）正作为一种有效的工具出现，用于建模多维连续信号，克服了与基于离散网格的近似相关的许多缺陷。然而，具有 ReLU 激活函数的坐标-MLP 在其原始形式下，在表示高保真信号方面表现不佳，从而催生了对位置嵌入层的需求。最近，Sitzmann 等人提出了一种正弦激活函数，能够省去坐标-MLP 中的位置嵌入，同时仍保持高信号保真度。尽管有此潜力，ReLU 仍主导着坐标-MLP 的领域；我们推测这是由于采用此类正弦激活的网络对初始化方案过度敏感。在本文中，我们试图拓宽当前对坐标-MLP 中激活函数效应的理解，并表明存在一类更广泛的适用于信号编码的激活函数。我们确认正弦激活仅是该类中的一个例子，并提出了几种非周期函数，经验上表现出比正弦更鲁棒的对抗随机初始化的性能。最后，我们主张转向采用这些非传统激活函数的坐标-MLP，因其高性能和简单性。
引用
@article{arxiv.2111.15135,
title = {Beyond Periodicity: Towards a Unifying Framework for Activations in Coordinate-MLPs},
author = {Sameera Ramasinghe and Simon Lucey},
journal= {arXiv preprint arXiv:2111.15135},
year = {2022}
}