FiT：面向个性化与联邦图像分类的参数高效少样本迁移学习
机器学习
2023-12-27 v2 计算机视觉与模式识别
机器学习
摘要
现代深度学习系统日益部署于个性化与联邦学习等场景中，其中有必要支持 i) 在少量数据上学习，以及 ii) 通信高效的分布式训练协议。在本工作中，我们开发了 FiLM Transfer（FiT），它通过结合迁移学习（固定的预训练主干与微调的 FiLM 适配器层）与元学习（自动配置的朴素贝叶斯分类器与情景训练）的思想，在图像分类设定下满足这些需求，从而产生参数高效且在低样本下具有更优分类精度的模型。由此产生的参数高效性对于实现少样本学习、低成本的个性化模型更新以及通信高效的联邦学习至关重要。我们在广泛的下游数据集上对 FiT 进行了实验，表明其在低样本下取得了优于领先 Big Transfer（BiT）算法的分类精度，并在具挑战性的 VTAB-1k 基准上以少于 1% 的可更新参数取得了最先进的精度。最后，我们在包括模型个性化与联邦学习在内的分布式低样本应用中展示了 FiT 的参数高效性与更优精度，其中模型更新大小是一项重要性能指标。
引用
@article{arxiv.2206.08671,
title = {FiT: Parameter Efficient Few-shot Transfer Learning for Personalized and Federated Image Classification},
author = {Aliaksandra Shysheya and John Bronskill and Massimiliano Patacchiola and Sebastian Nowozin and Richard E Turner},
journal= {arXiv preprint arXiv:2206.08671},
year = {2023}
}