通过学习参数分配实现灵活的多任务网络
机器学习
2020-07-21 v2 机器学习
摘要
本文提出一种面向多任务应用的新型学习方法。多任务神经网络可利用参数共享来学习在不同任务间迁移知识。然而，在不相关任务之间共享参数会损害性能。为解决此问题，我们提出一个框架来学习细粒度的参数共享模式。假设网络由跨层的若干组件构成，我们的框架使用学习到的二值变量将组件分配给各任务，以鼓励相关任务间更多的参数共享，并抑制不相关的参数共享。借助 Gumbel-Softmax 重参数化方法，二值分配变量与模型参数通过标准反向传播联合学习。应用于 Omniglot 基准时，所提方法相较最先进水平实现了 17% 的相对错误率降低。
引用
@article{arxiv.1910.04915,
title = {Flexible Multi-task Networks by Learning Parameter Allocation},
author = {Krzysztof Maziarz and Efi Kokiopoulou and Andrea Gesmundo and Luciano Sbaiz and Gabor Bartok and Jesse Berent},
journal= {arXiv preprint arXiv:1910.04915},
year = {2020}
}