我们能否通过哈密顿神经网络学习梯度？
机器学习
2021-11-02 v1 最优化与控制
摘要
在这项工作中，我们提出了一种基于ODE神经网络的元学习器，用于学习梯度。该方法使优化器更加灵活，从而对给定任务引入自动归纳偏置。使用最简单的哈密顿神经网络，我们证明了对于带ReLU激活的被优化对象，我们的方法在人工任务和MNIST数据集上优于基于LSTM的元学习器。此外，它在人工任务上也超越了经典优化方法，并在MNIST上取得了相当的结果。
引用
@article{arxiv.2111.00565,
title = {Can we learn gradients by Hamiltonian Neural Networks?},
author = {Aleksandr Timofeev and Andrei Afonin and Yehao Liu},
journal= {arXiv preprint arXiv:2111.00565},
year = {2021}
}