面向任务感知主动学习的视觉变换器
计算机视觉与模式识别
2021-06-08 v1 人工智能
摘要
主动学习（AL）中基于池的采样，是处理深度学习模型时标注信息性数据的关键框架。本文提出一种基于池的主动学习新流程。与多数先前工作不同，我们的方法在训练期间利用可获取的无标签样本来估计其与有标签样本的关联。本文另一贡献是将Visual Transformer适配为AL流程中的采样器。Visual Transformer建模有标签与无标签样本间的非局部视觉概念依赖，这对识别有影响的无标签样本至关重要。此外，相较于现有以多阶段方式训练学习器与采样器的方法，我们提出以任务感知的联合方式训练二者，从而将潜空间转化为两项独立任务：一项对有标签样本分类；另一项区分标注方向。我们在CIFAR10、CIFAR100、FashionMNIST、RaFD及Pascal VOC 2007四个分类与检测任务的挑战性基准上评估了本工作。广泛的实证与定性评估证明了我们的方法优于现有方法。代码见：https://github.com/razvancaramalau/Visual-Transformer-for-Task-aware-Active-Learning
引用
@article{arxiv.2106.03801,
title = {Visual Transformer for Task-aware Active Learning},
author = {Razvan Caramalau and Binod Bhattarai and Tae-Kyun Kim},
journal= {arXiv preprint arXiv:2106.03801},
year = {2021}
}