关于坐标多层感知机的正则化
机器学习
2022-02-03 v1 计算机视觉与模式识别
摘要
我们表明，深度神经网络（用于回归）典型的隐式正则化假设对于坐标-MLP并不成立；坐标-MLP是一类如今在计算机视觉中用于表示高频信号的 ubiquitous 的 MLP。缺乏此类隐式偏置会破坏训练样本之间的平滑插值，并阻碍跨不同频谱信号区域的泛化。我们通过傅里叶视角考察了这一行为，并揭示：随着坐标-MLP带宽的提升，低频分量往往受到抑制，除非显式地提供合适的先验。基于这些洞察，我们提出了一种简单的正则化技术，可缓解上述问题，且无需任何架构修改即可集成到现有网络中。
引用
@article{arxiv.2202.00790,
title = {On Regularizing Coordinate-MLPs},
author = {Sameera Ramasinghe and Lachlan MacDonald and Simon Lucey},
journal= {arXiv preprint arXiv:2202.00790},
year = {2022}
}