NIFF：通过神经实例特征伪造缓解广义少样本目标检测中的遗忘
计算机视觉与模式识别
2023-03-10 v1 人工智能
摘要
隐私与内存是关于 AI 社会影响的广泛讨论中两个反复出现的主题。这些关切源于训练深度神经网络需要海量数据。广义少样本目标检测（G-FSOD）作为 AI 的一种学习范式，其前景在于通过利用来自旧类（即基类）的先验知识，缓解为我们希望检测的新类收集大量训练样本的需求。G-FSOD 力求学习这些新类，同时缓解对基类的灾难性遗忘。然而，现有方法假定基图像可访问，而当数据共享与存储存在问题时该假设并不成立。在本工作中，我们提出了首个面向 G-FSOD 的无数据知识蒸馏（DFKD）方法，其利用基模型感兴趣区域（RoI）特征的统计量，在无需访问基图像的情况下伪造实例级特征。我们的贡献有三方面：（1）我们设计了一个独立的轻量生成器，具有（2）按类头（3）以在 novel 数据上微调时生成并重放多样的实例级基特征至 RoI 头。这与图像分类中的标准 DFKD 方法形成对比，后者反演整个网络以生成基图像。此外，我们在 novel 微调流程中作出审慎设计选择以正则化模型。我们表明，我们的方法能大幅降低基内存需求，同时在具挑战性的 MS-COCO 与 PASCAL-VOC 基准上树立 G-FSOD 的新标准。
引用
@article{arxiv.2303.04958,
title = {NIFF: Alleviating Forgetting in Generalized Few-Shot Object Detection via Neural Instance Feature Forging},
author = {Karim Guirguis and Johannes Meier and George Eskandar and Matthias Kayser and Bin Yang and Juergen Beyerer},
journal= {arXiv preprint arXiv:2303.04958},
year = {2023}
}
备注
Accepted at CVPR 2023