关于在深度学习问题中将深度学习代理作为前向模型的使用
机器学习
2023-01-19 v1 最优化与控制
摘要
基于物理的优化问题通常非常耗时，尤其因为前向模型相关的计算复杂性。近期工作表明物理建模可用神经网络近似。然而，这种学习总伴随一定程度的误差，本文研究该方面。我们通过流行数学基准上的实验表明，此类函数的神经网络近似（NN-proxies）代入优化框架时会导致错误结果。具体地，我们研究粒子群优化与遗传算法方法的行为，并分析其与 NN-proxies 耦合时的稳定性。近似模型的正确性取决于参数空间中采样的程度，通过数值实验我们表明用神经网络构建此景观时需谨慎。此外，NN-proxies 对高维函数难以训练，我们给出了针对 4D 与 10D 问题的见解。此类情况下误差更高，且表明其对用于构建 NN-proxy 的采样方案选择敏感。代码见 https://github.com/Fa-ti-ma/NN-proxy-in-optimization。
引用
@article{arxiv.2301.07102,
title = {On Using Deep Learning Proxies as Forward Models in Deep Learning Problems},
author = {Fatima Albreiki and Nidhal Belayouni and Deepak K. Gupta},
journal= {arXiv preprint arXiv:2301.07102},
year = {2023}
}
备注
Accepted at Neurips 2022 ML4PS workshop