面向多任务回归问题的涌现关系网络与任务嵌入

多任务学习(mtl)在计算机视觉与自然语言处理的诸多应用中提供了最先进的结果。与单任务学习(stl)不同,mtl能够利用相关任务之间的知识,从而改善主任务(相对于辅助任务)或所有任务的预测结果。然而,考虑到mtl的最新进展,将mtl架构应用于回归与时间序列问题的比较研究十分有限。一个有趣的非线性问题是可再生能源电站的期望发电量预测。因此,本文对以下近期且重要的mtl架构进行了比较研究:硬参数共享、交叉缝合网络、闸网(sluice network, sn)。它们在与sn同等规模的多层感知机单任务学习设定下进行比较。此外,我们提出了一种简单而有效的方法,通过多层感知机中的嵌入层对任务特定信息进行建模,称为任务嵌入(task embedding)。进一步,我们引入了一种新的mtl架构,称为涌现关系网络(emerging relation network, ern),它可视为闸网的扩展。对于太阳能数据集,任务嵌入取得了14.9%的最佳平均提升。ern与sn在太阳能数据集上的平均提升幅度相近,分别为14.7%和14.8%。在风能数据集上,仅ern取得了高达7.7%的显著提升。结果表明,当任务仅松散相关且预测问题更具非线性时,ern是有益的。相反,当任务强相关时,所提出的任务嵌入更具优势。此外,与其他mtl架构相比,任务嵌入以更低的计算代价提供了一种有效的方法。