通过自指元学习消除元优化
机器学习
2023-01-02 v1 人工智能
神经与进化计算
机器学习
摘要
元学习（Meta Learning）自动化了对学习算法的搜索。同时，它在元层面产生了对人类工程的依赖，即需要设计元学习算法。在本文中，我们研究无需显式元优化即可自我修改的自指元学习系统。我们讨论了此类系统与上下文内和基于记忆的元学习的关系，并表明自指神经网络需要以参数共享的形式复用功能。最后，我们提出适应度单调执行（FME），一种避免显式元优化的简单方法。神经网络自我修改以解决多臂老虎机和经典控制任务，改进其自我修改，并纯粹通过为表现更好的解分配更多计算资源来学习如何学习。
引用
@article{arxiv.2212.14392,
title = {Eliminating Meta Optimization Through Self-Referential Meta Learning},
author = {Louis Kirsch and Jürgen Schmidhuber},
journal= {arXiv preprint arXiv:2212.14392},
year = {2023}
}
备注
The first version appeared at ICML 2022, DARL Workshop