主动多任务表示学习
机器学习
2022-02-03 v1 人工智能
摘要
为利用来自源任务的大数据力量并克服目标任務样本稀缺性，基于多任务预训练的表示学习已成为许多应用中的标准方法。然而，迄今为止，选择哪些源任务纳入多任务学习更多靠经验而非科学。本文通过借助主动学习技术，首次对资源任务采样给出形式化研究。我们提出一种算法，迭代估计每个源任务与目标任务的相关性，并基于估计的相关性从各源任务采样。理论上，我们证明对于线性表示类，为达到相同错误率，与从所有源任务朴素均匀采样相比，我们的算法可在源任务样本复杂度上节省多达“源任务数量”倍的因子。我们还在真实世界计算机视觉数据集上提供实验，以说明所提方法在线性和卷积神经网络表示类上的有效性。我们相信本文是将主动学习技术引入表示学习的重要初步一步。
引用
@article{arxiv.2202.00911,
title = {Active Multi-Task Representation Learning},
author = {Yifang Chen and Simon S. Du and Kevin Jamieson},
journal= {arXiv preprint arXiv:2202.00911},
year = {2022}
}