基于导数信息的非均匀随机特征模型
机器学习
2024-10-04 v1 数值分析
数值分析
摘要
我们提出了一种基于待近似函数导数数据的非均匀数据驱动参数分布，用于神经网络初始化。这些参数分布是在基于浅层神经网络的非参数回归模型中开发的，与基于常规权重初始化的著名均匀随机特征模型相比较。我们考虑Heaviside和ReLU激活函数及其光滑近似（sigmoid和softplus），并利用来自完全训练最优网络的谐波分析和稀疏表示的最新结果。扩展提供精确表示的解析结果，我们获得在参数空间中对应于适用于建模未知函数局部导数的神经元区域集中注意力的密度。基于这些结果，我们建议基于近似导数数据（在输入点上）的这些精确密度的简化，这些简化允许非常高效的抽样，并在多个情景下实现接近最优网络的性能。
引用
@article{arxiv.2410.02132,
title = {Nonuniform random feature models using derivative information},
author = {Konstantin Pieper and Zezhong Zhang and Guannan Zhang},
journal= {arXiv preprint arXiv:2410.02132},
year = {2024}
}