基于 Lasso 的改进主动多任务表示学习

为利用来自源任务的海量数据并克服目标任务样本的稀缺性，基于多任务预训练的表示学习已成为许多应用中的标准方法。然而迄今为止，大多数现有工作从纯经验角度设计源任务选择策略。最近，\citet{chen2022active} 给出了首个主动多任务表示学习 (A-MTRL) 算法，该算法自适应地从源任务中采样，并可利用 L2 正则化目标-源相关性参数 $\nu^2$ 可证明地降低总样本复杂度。但他们的工作在总源样本复杂度上理论次优，且在需要稀疏训练源任务选择的一些现实场景中实用性较差。本文同时解决这两个问题。具体而言，我们通过给出 $\nu^2$-基于策略的下界，展示了 L1 正则化相关性基于 ($\nu^1$-基于) 策略的严格优势。当 $\nu^1$ 未知时，我们提出一种实用算法，使用 LASSO 程序估计 $\nu^1$。我们的算法在已知情形下成功恢复了最优结果。除样本复杂度结果外，我们还刻画了我们的 $\nu^1$-基于策略在样本成本敏感设定中的潜力。最后，我们在真实世界计算机视觉数据集上提供实验以说明所提方法的有效性。