CrossTransformers：空间感知的少样本迁移
计算机视觉与模式识别
2021-02-18 v5
摘要
给定数据非常少的新任务——例如分类问题中的新类别或输入中的域偏移——现代视觉系统的性能会迅速下降。在这项工作中，我们说明了支撑现代视觉系统的神经网络表示会受到监督崩溃的影响，即它们丢失了执行训练任务所不需要的任何信息，包括可能对迁移到新任务或域所必需的信息。然后我们提出了两种方法来缓解这个问题。首先，我们采用自监督学习来鼓励迁移性更好的通用特征。其次，我们提出了一种新颖的基于Transformer的神经网络架构，称为CrossTransformers，它可以接受少量标记图像和一个未标记查询，找到查询与标记图像之间的粗略空间对应关系，然后通过计算空间对应特征之间的距离来推断类别成员。结果是一个对任务和域偏移更鲁棒的分类器，我们通过在Meta-Dataset（一个用于评估从ImageNet迁移到许多其他视觉数据集的最新数据集）上的最先进性能证明了这一点。
引用
@article{arxiv.2007.11498,
title = {CrossTransformers: spatially-aware few-shot transfer},
author = {Carl Doersch and Ankush Gupta and Andrew Zisserman},
journal= {arXiv preprint arXiv:2007.11498},
year = {2021}
}
备注
Published at NeurIPS 2020. Code/checkpoints: https://github.com/google-research/meta-dataset