基于梯度的神经网络对黑盒函数接口的学习
机器学习
2019-01-15 v1 机器学习
摘要
深度神经网络在提供数据并通过梯度下降方法训练时，能很好地逼近复杂函数。与此同时，存在大量以程序化方式精确解决不同任务的现有函数，消除了训练的需要。在许多情况下，可将任务分解为一系列函数，其中某些我们可能倾向于使用神经网络学习其功能，而其他则偏好使用现有黑盒函数。我们提出一种对集成调用现有黑盒函数的基神经网络进行端到端训练的方法。为此，我们用可微神经网络逼近黑盒功能，以在端到端优化过程中驱动基网络遵从黑盒函数接口。在推理时，我们将可微估计器替换为其外部黑盒不可微对应物，使得基网络输出匹配黑盒函数的输入参数。利用这一“估计并替换”范式，我们端到端训练神经网络计算黑盒功能的输入，同时消除对中间标签的需求。我们表明，通过在推理时利用现有精确黑盒函数，集成模型比完全可微模型泛化更好，且相比基于RL的方法学习更高效。
引用
@article{arxiv.1901.03995,
title = {Neural network gradient-based learning of black-box function interfaces},
author = {Alon Jacovi and Guy Hadash and Einat Kermany and Boaz Carmeli and Ofer Lavi and George Kour and Jonathan Berant},
journal= {arXiv preprint arXiv:1901.03995},
year = {2019}
}
备注
Published as a conference paper at ICLR 2019