迈向数据高效的检测 Transformers
计算机视觉与模式识别
2022-08-26 v3 人工智能
摘要
检测 Transformers 在样本丰富的 COCO 数据集上已取得有竞争力的性能。然而，我们表明它们大多数在小型数据集（如 Cityscapes）上会出现显著的性能下降。换言之，检测 transformers 通常是数据饥渴的。为解决这个问题，我们通过从数据高效的 RCNN 变体到代表性 DETR 的逐步过渡，实证分析了影响数据效率的因素。实证结果表明，从局部图像区域进行稀疏特征采样是关键。基于该观察，我们通过简单地改变交叉注意力层中键和值序列的构造方式，以对原始模型最小的修改，缓解了现有检测 transformers 的数据饥渴问题。此外，我们引入了一种简单而有效的标签增强方法，以提供更丰富的监督并提升数据效率。实验表明，我们的方法可轻易应用于不同的检测 transformers，并提升它们在小型和样本丰富数据集上的性能。代码将在 \url{https://github.com/encounter1997/DE-DETRs} 公开。
引用
@article{arxiv.2203.09507,
title = {Towards Data-Efficient Detection Transformers},
author = {Wen Wang and Jing Zhang and Yang Cao and Yongliang Shen and Dacheng Tao},
journal= {arXiv preprint arXiv:2203.09507},
year = {2022}
}
备注
Accepted to ECCV 2022