多任务神经网络与多任务高斯过程之间的关系
机器学习
2019-12-13 v1 机器学习
摘要
尽管多任务深度神经网络（MTDNN）十分有效，但关于 MTDNN 中不同任务间信息如何共享的理论理解仍然有限。本文中，我们建立了具有无限宽隐藏层的 MTDNN 与多任务高斯过程（GP）之间的形式化联系。我们推导了对应于单层与深度多任务贝叶斯神经网络（MTBNN）的多任务 GP 核，并表明不同任务间的信息共享主要源于 MTBNN 最后一层权重的跨任务相关性及共享超参数，这与“信息共享源于共享中间层权重”的流行假设相反。我们的构造使得能够利用多任务 GP 对等效的无限宽隐藏层 MTDNN 进行高效贝叶斯推断。先前关于单任务设定下深度神经网络与 GP 联系的工作可视为我们构造的特例。我们还提出了一种自适应多任务神经网络架构，其对应于具有更灵活核（如核心区域化线性模型（LMC）与交叉核心区域化（CC）核）的多任务 GP。我们提供了实验结果以在合成与真实数据集上进一步阐明这些思想。
引用
@article{arxiv.1912.05723,
title = {On the relationship between multitask neural networks and multitask Gaussian Processes},
author = {Karthikeyan K and Shubham Kumar Bharti and Piyush Rai},
journal= {arXiv preprint arXiv:1912.05723},
year = {2019}
}
备注
19 pages, 4 figures