FreSh：加速神经表征学习的频率偏移
机器学习
2024-10-10 v2 人工智能
机器学习
摘要
隐式神经表征（Implicit Neural Representations, INRs）最近因能够使用多层感知机（MLP）连续表示图像、视频和 3D 形状等信号而受到关注。然而，MLP 已知存在低频偏置，限制其准确捕获高频细节的能力。这一限制通常通过包含高频输入嵌入或专用激活层来解决。本工作表明，这些嵌入和激活函数的参数往往在平均情况下表现良好，但对于特定目标信号而言并非最优，寻找最佳设置通常需要进行代价高昂的网格搜索。我们的关键观察是，未训练模型输出的初始频率谱与其在给定目标信号上的最终性能高度相关。利用这一洞察，我们提出了频率偏移（或 FreSh），一种选择嵌入参数以将模型初始输出的频率谱与目标信号的频率谱对齐的方法。我们展示了这一简单初始化技术在 various neural representation methods and tasks 上均可提升性能，实现的效果相当于进行大量超参数扫描，但仅比使用默认超参数训练单个模型增加了可忽略的计算开销。
引用
@article{arxiv.2410.05050,
title = {FreSh: Frequency Shifting for Accelerated Neural Representation Learning},
author = {Adam Kania and Marko Mihajlovic and Sergey Prokudin and Jacek Tabor and Przemysław Spurek},
journal= {arXiv preprint arXiv:2410.05050},
year = {2024}
}
备注
Code at https://github.com/gmum/FreSh/