基于草图模块化架构的可证明分层终身学习
机器学习
2021-12-22 v1
摘要
我们提出了一种用于分层结构任务终身学习的模块化架构。具体而言，我们证明该架构在理论上能够学习如下函数可解的任务：这些函数在可访问其他已学任务的函数作为子程序时是可学习的。我们通过实证表明，以此方式可学习的某些任务在实践中无法被标准训练方法学会；事实上，已有工作表明，若不借助更简单任务的辅助，此类某些任务无法被任何高效方法学会。我们还考虑了无需依赖显式给出的指示符即可自动识别任务的方法。
引用
@article{arxiv.2112.10919,
title = {Provable Hierarchical Lifelong Learning with a Sketch-based Modular Architecture},
author = {Zihao Deng and Zee Fryer and Brendan Juba and Rina Panigrahy and Xin Wang},
journal= {arXiv preprint arXiv:2112.10919},
year = {2021}
}