Invenio：利用结构化元学习发现任务/域之间的隐藏关系
计算机视觉与模式识别
2020-02-04 v2
摘要
利用细粒度任务之间已知的语义关系，对近期与模型无关的方法的成功至关重要。这些方法通常依赖元优化使模型对系统性任务或域偏移具有鲁棒性。然而在实践中，当任务（或域）之间不存在连贯的语义关系时，这些方法的性能会受损。我们提出 Invenio，一种结构化元学习算法，用于推断给定任务集合之间的语义相似性，并揭示不同任务间迁移知识的复杂性。与 Task2Vec 和 Taskonomy 等测量预训练模型间相似性的现有技术不同，我们的方法采用一种新颖的自监督学习策略，在训练循环中发掘这些关系，同时利用它们在元更新步骤中更新任务特定模型。利用具有挑战性的任务与域数据库，在少样本学习设定下，我们表明 Invenio 能够发现任务或域之间错综复杂的依赖关系，并在泛化性能上相较现有方法取得显著增益。Invenio 学到的任务/域间语义结构是可解释的，并可用于为任务或域构建有意义的先验。
引用
@article{arxiv.1911.10600,
title = {Invenio: Discovering Hidden Relationships Between Tasks/Domains Using Structured Meta Learning},
author = {Sameeksha Katoch and Kowshik Thopalli and Jayaraman J. Thiagarajan and Pavan Turaga and Andreas Spanias},
journal= {arXiv preprint arXiv:1911.10600},
year = {2020}
}
备注
Semantic structure development for tasks/domains essential for efficient knowledge transfer