HOUDINI：将终身学习视为程序合成
机器学习
2018-10-30 v2 编程语言
机器学习
摘要
我们提出了一种用于混合感知与程序推理的算法任务终身学习的神经符号框架。跨领域复用高层概念以及学习复杂过程是终身学习中的关键挑战。我们展示了一种将梯度下降与程序组合搜索相结合的的程序合成方法，相比纯神经方法，能更有效地应对这些挑战。我们的框架称为HOUDINI，将神经网络表示为强类型、可微的函数式程序，这些程序使用符号高阶组合子来组合一个神经函数库。我们的学习算法包括：(1) 一个符号程序合成器，在执行类型导向的带参程序搜索的同时，决定复用的库函数以及组合它们的架构，并在学习一系列任务时完成此过程；(2) 一个使用随机梯度下降训练这些程序的神经模块。我们在三个结合感知与计数、求和及最短路径计算算法任务的基准上评估了HOUDINI。我们的实验表明，HOUDINI比传统迁移学习和渐进式神经网络更有效地迁移高层概念，且网络的类型化表示显著加速了搜索。
引用
@article{arxiv.1804.00218,
title = {HOUDINI: Lifelong Learning as Program Synthesis},
author = {Lazar Valkov and Dipak Chaudhari and Akash Srivastava and Charles Sutton and Swarat Chaudhuri},
journal= {arXiv preprint arXiv:1804.00218},
year = {2018}
}