从多标签学习到跨域迁移:一种模型无关方法
机器学习
2022-07-26 v1
摘要
在多标签学习中——多任务学习的一种特例,其中单个数据点关联多个目标标签——文献中广泛假设,为获得最佳精度,应显式建模标签间的依赖关系。这一前提导致了大量共同学习与预测标签的方法涌现,例如某一标签的预测会影响其他标签的预测。尽管现已公认在许多情形下最优性能并不需要依赖模型,但此类模型在部分此类情形中仍优于独立模型,这表明除标签依赖外还存在其他解释其性能的因素,文献近来才开始揭示。借助并拓展近期发现,我们颠覆了多标签学习的原有前提,专门在任务标签间无任何可测依赖(例如任务标签来自不同问题域)的情形下研究联合建模问题。我们将该研究的见解转向构建一种迁移学习方法,挑战长期以来认为任务可迁移性源于源域与目标域或模型间相似性度量的假设。这使我们能够设计并检验一种迁移学习方法,其为模型驱动而非纯数据驱动,且为黑箱、模型无关(可考虑任意基模型类)。我们表明本质上可基于源模型容量创建任务依赖。所得结果具有重要意义,并为多标签学习与迁移学习领域的未来工作提供了明确方向。
引用
@article{arxiv.2207.11742,
title = {From Multi-label Learning to Cross-Domain Transfer: A Model-Agnostic Approach},
author = {Jesse Read},
journal= {arXiv preprint arXiv:2207.11742},
year = {2022}
}