构建零谱偏置的极限学习机
机器学习
2023-07-20 v1
摘要
谱偏置现象——在前馈人工神经网络（ANN）中所学函数的高频分量比低频分量收敛更慢——在各类 ANN 中普遍存在。这在高频分辨至关重要的领域（如物理信息神经网络（PINNs））造成了技术挑战。极限学习机（ELMs）省去了迭代求解过程，而该过程正是谱偏置（SB）的理论基础，原则上应不受此影响。本工作验证了该假设的可靠性，并表明其不正确。然而，ELMs 的结构使其天然适于实现傅里叶特征嵌入的变体，后者已被证明可缓解 ANN 中的 SB。我们实施并验证了该方法可完全消除 SB，从而使 ELMs 应用于 PINNs 等高频分辨不可或缺的实际问题成为可能。
引用
@article{arxiv.2307.09759,
title = {Constructing Extreme Learning Machines with zero Spectral Bias},
author = {Kaumudi Joshi and Vukka Snigdha and Arya Kumar Bhattacharya},
journal= {arXiv preprint arXiv:2307.09759},
year = {2023}
}