关于使用经验插值法的深度神经网络降维笔记
机器学习
2023-05-18 v1 数值分析
数值分析
摘要
经验插值法（EIM）是一种众所周知的用于高效逼近参数化函数的技术。本文提出使用 EIM 算法在监督机器学习中高效降低训练数据的维度。这被称为 DNN-EIM。我们考虑了在数据科学（如 MNIST）与参数化（且时间相关）偏微分方程（PDEs）中的应用。所提出的分类情形下的 DNN 为每个类别并行训练。该方法是顺序式的，即新类别可在无需重新训练网络的情况下添加。在 PDE 情形下，为每个 EIM 点设计对应的一个 DNN。同样，这些网络可针对每个 EIM 点并行训练。在所有情形下，并行网络所需的训练权重数量少于十倍。在不牺牲精度的前提下，训练时间方面观察到显著收益。
引用
@article{arxiv.2305.09842,
title = {A Note on Dimensionality Reduction in Deep Neural Networks using Empirical Interpolation Method},
author = {Harbir Antil and Madhu Gupta and Randy Price},
journal= {arXiv preprint arXiv:2305.09842},
year = {2023}
}
备注
13 pages