关系多任务学习：对数据与任务间关系的建模
机器学习
2023-03-15 v1
摘要
多任务学习的一个关键假设是：推理时多任务模型仅能访问给定数据点，而无法获知该数据点来自其他任务的标签。这提供了一个拓展多任务学习的契机，即利用数据点来自其他辅助任务的标签，从而提升在新任务上的表现。本文引入一种新颖的关系多任务学习设定，借助辅助任务的数据点标签对新任务作出更准预测。我们开发了 MetaLink，其核心创新在于构建连接数据点与时任务的知识图谱，由此可利用辅助任务标签。该知识图谱含两类节点：（1）数据节点，其节点特征为神经网络计算的数据嵌入；（2）任务节点，以各任务最后一层权重作为节点特征。图谱中的边刻画数据—任务关系，边标签刻画数据点在特定任务上的标签。在 MetaLink 下，我们将新任务重构为数据节点与任务节点间的边标签预测问题。MetaLink 框架可灵活建模从辅助任务标签到目标任务的知识迁移。我们在生化与视觉领域的 6 个基准数据集上评估 MetaLink。实验表明，在提出的关系多任务学习设定下，MetaLink 能成功利用不同任务间关系，以最高 27% 的 ROC AUC 提升优于最先进方法。
引用
@article{arxiv.2303.07666,
title = {Relational Multi-Task Learning: Modeling Relations between Data and Tasks},
author = {Kaidi Cao and Jiaxuan You and Jure Leskovec},
journal= {arXiv preprint arXiv:2303.07666},
year = {2023}
}
备注
ICLR 2022 Spotlight