关于导数约束神经网络的训练
机器学习
2023-10-13 v2 人工智能
摘要
我们将神经网络（NN）预测相对于其输入的（偏）导数被用作额外训练信号的设定称为导数约束（DC）NN。这种情况在自然科学中的物理信息设定中很常见。我们提出一种集成 RELU（IReLU）激活函数以改进 DC NN 的训练。我们还研究反归一化与标签重缩放以帮助稳定 DC 训练。我们在包括量子化学和科学机器学习（SciML）任务在内的物理信息设定上评估我们的方法。我们证明，具有 IReLU 激活函数并结合反归一化与标签重缩放的现有架构能更好地融入由导数约束提供的训练信号。
引用
@article{arxiv.2310.01649,
title = {On Training Derivative-Constrained Neural Networks},
author = {KaiChieh Lo and Daniel Huang},
journal= {arXiv preprint arXiv:2310.01649},
year = {2023}
}