从NeurIPS 2021 MetaDL挑战赛汲取的经验:无需情景元学习的骨干网络微调主导少样本学习图像分类
机器学习
2022-07-12 v2 人工智能
计算机视觉与模式识别
神经与进化计算
摘要
尽管深度神经网络能够在各种任务上取得优于人类的表现,但它们以需要大量数据和计算资源而著称,这将其成功限制在具备此类资源的领域。元学习(metalearning)方法可通过从相关任务迁移知识来解决此问题,从而减少学习新任务所需的数据和计算资源。我们组织了MetaDL竞赛系列,为世界各地的科研团队提供机会,创建并实验评估面向实际问题的新元(深度)学习方案。在本文中,由竞赛组织者与排名靠前的参与者协作撰写,我们描述了竞赛设计、数据集、最佳实验结果,以及NeurIPS 2021挑战赛中排名靠前的方法;该挑战赛吸引了15支活跃团队进入最终阶段(通过超越基线),在反馈阶段提交了超过100份代码。排名靠前参与者的方案已开源。汲取的经验包括:学习良好的表征对有效的迁移学习至关重要。
引用
@article{arxiv.2206.08138,
title = {Lessons learned from the NeurIPS 2021 MetaDL challenge: Backbone fine-tuning without episodic meta-learning dominates for few-shot learning image classification},
author = {Adrian El Baz and Ihsan Ullah and Edesio Alcobaça and André C. P. L. F. Carvalho and Hong Chen and Fabio Ferreira and Henry Gouk and Chaoyu Guan and Isabelle Guyon and Timothy Hospedales and Shell Hu and Mike Huisman and Frank Hutter and Zhengying Liu and Felix Mohr and Ekrem Öztürk and Jan N. van Rijn and Haozhe Sun and Xin Wang and Wenwu Zhu},
journal= {arXiv preprint arXiv:2206.08138},
year = {2022}
}
备注
version 2 is the correct version, including supplementary material at the end