用于高效少样本图像分类的上下文压缩激励
计算机视觉与模式识别
2023-01-12 v3 机器学习
摘要
近年来，需要低数据机制下跨任务有效知识迁移的用户中心应用有所增长。一个例子是个性化，其中预训练系统通过在属于特定用户的少量标注数据上学习来进行适配。该设定要求在低计算复杂度下具有高准确率，因此准确率与适配成本的帕累托前沿起着关键作用。在本文中，我们在少样本图像分类设定下推进这一帕累托前沿，关键贡献为：一种称为上下文压缩激励(Contextual Squeeze-and-Excitation, CaSE)的新自适应模块，它在新任务上调整预训练神经网络，通过用户数据(上下文)的单次前向传播显著提升性能。我们使用元训练的 CaSE 模块来条件适配网络主体，并使用微调例程来适配线性头，定义了一种称为 UpperCaSE 的方法。UpperCaSE 在 VTAB+MD 的 26 个数据集及具有挑战性的真实世界个性化基准(ORBIT)上，相对于元学习者实现了新的最先进准确率，缩小了与领先微调方法的差距，且适配成本降低数个数量级。
引用
@article{arxiv.2206.09843,
title = {Contextual Squeeze-and-Excitation for Efficient Few-Shot Image Classification},
author = {Massimiliano Patacchiola and John Bronskill and Aliaksandra Shysheya and Katja Hofmann and Sebastian Nowozin and Richard E. Turner},
journal= {arXiv preprint arXiv:2206.09843},
year = {2023}
}
备注
Advances in Neural Information Processing Systems (NeurIPS 2022)