可证明路径：在多路径上学习多任务
机器学习
2023-03-09 v1 机器学习
摘要
在大量任务上构建有用的表示是样本高效智能系统的关键要求。多任务学习（MTL）的一个传统思想是跨任务构建共享表示，然后通过调整最后几层将其适配到新任务。对使用共享的“一刀切”表示的一种理想改进是构建任务特定的表示。为此，近期的 PathNet/muNet 架构将单个任务表示为更大超网中的路径。由路径诱导的子网络可视为任务特定的表示，它们是超网计算图中模块的组合。本工作从统计学习的视角探讨路径提议：我们首先为在多路径上学习多任务（多路径 MTL）的经验风险最小化问题推导出新的泛化界。同时，我们形式化了所得多路径表示在适配新下游任务时的益处。我们的界以高斯复杂度表示，为线性表示类带来切实的保证，并提供了关于多路径表示质量与益处的新见解。当计算图为树时，多路径 MTL 分层聚类任务并构建簇特定的表示。我们对分层 MTL 进行了进一步讨论与实验，并严格识别了多路径 MTL 在何种条件下可证明优于具有浅层超网的传统 MTL 方法。
引用
@article{arxiv.2303.04338,
title = {Provable Pathways: Learning Multiple Tasks over Multiple Paths},
author = {Yingcong Li and Samet Oymak},
journal= {arXiv preprint arXiv:2303.04338},
year = {2023}
}