利用多任务与迁移学习求解工作记忆任务
机器学习
2018-10-01 v1 神经与进化计算
机器学习
摘要
我们提出一种称为记忆增强编码器-求解器（MAES）的新架构，其支持迁移学习以求解改编自认知心理学的复杂工作记忆任务。它使用分别位于编码器与求解器内部的双循环神经网络控制器，二者与共享记忆模块交互，且完全可微分。我们以系统方式研究不同类型的编码器，并展示多任务学习在获得最优可能编码器方面的独特优势。通过大量实验我们表明，训练后的 MAES 模型实现了任务规模泛化，即借助适当大的记忆模块，它们能处理比训练时所见长50倍的序列输入。我们证明，在整个任务套件上，MAES 所取得的性能远超 LSTM、NTM 和 DNC 等现有知名模型。
引用
@article{arxiv.1809.10847,
title = {Using Multi-task and Transfer Learning to Solve Working Memory Tasks},
author = {T. S. Jayram and Tomasz Kornuta and Ryan L. McAvoy and Ahmet S. Ozcan},
journal= {arXiv preprint arXiv:1809.10847},
year = {2018}
}
备注
16 pages