全向训练：桥接预训练与元训练以实现小样本学习
机器学习
2022-12-20 v3
摘要
小样本学习旨在通过少量样本快速适应深度模型。虽然预训练和元训练可以创建出对少样本泛化能力强大的深度模型，但我们发现预训练和元训练分别侧重于跨领域可迁移性和跨任务可迁移性，这限制了它们在领域偏移和任务偏移交织设置下的数据效率。因此，我们提出了全向训练 (Omni-Training) 框架，以无缝桥接预训练和元训练，实现数据高效的小样本学习。我们的第一个贡献是三流全向网络 (Omni-Net) 架构。除了联合表示流之外，Omni-Net 还引入了用于预训练和元训练的两个并行流，分别负责提高领域可迁移性和任务可迁移性。Omni-Net 进一步通过联合流路由它们的表示来协调并行流，从而实现跨流的知识迁移。我们的第二个贡献是全向损失 (Omni-Loss)，它在预训练和元训练目标上分别引入了一种自蒸馏策略，以促进不同训练阶段间的知识迁移。Omni-Training 是一个通用框架，可容纳许多现有算法。评估证明，在多种分类、回归和强化学习问题中，我们的单一框架在跨任务和跨域设置下均一致且显著地优于现有的单一最先进方法。
引用
@article{arxiv.2110.07510,
title = {Omni-Training: Bridging Pre-Training and Meta-Training for Few-Shot Learning},
author = {Yang Shu and Zhangjie Cao and Jinghan Gao and Jianmin Wang and Philip S. Yu and Mingsheng Long},
journal= {arXiv preprint arXiv:2110.07510},
year = {2022}
}