持续与多任务架构搜索

架构搜索是自动学习最适合给定任务的神经模型或单元结构的过程。近来，该方法利用一种称为高效神经架构搜索（ENAS）的权重共享策略，在语言建模和图像分类任务上展现出有前景的性能提升，同时保持了合理的训练速度。在我们的工作中，我们首先引入一种新颖的持续架构搜索（CAS）方法，以便在多个任务的序列训练过程中持续演化模型参数，同时通过块稀疏性和正交性约束避免遗忘先前已学任务的性能，从而实现终身学习。接着，我们探索了一种基于 ENAS 的多任务架构搜索（MAS）方法，旨在通过联合控制器奖励寻找一个在多个任务上均表现良好的统一单一单元结构，从而使单元结构知识能够更泛化地迁移到未见的新任务上。我们在多种句子对分类任务（GLUE）和基于多模态生成的视频描述任务上，实证展示了基于序列持续学习和并行多任务学习的架构搜索方法的有效性。此外，我们还对所学单元结构进行了若干消融与分析。