BSDP：用于在线开放世界目标检测的类脑流式双层扰动
计算机视觉与模式识别
2024-03-06 v1
摘要
人类可以轻松区分已知和未知类别，并且能够通过单次学习识别未知物体，而无需多次重复且不会遗忘已学物体。因此，我们的目标是使深度学习模型模拟人类的学习方式。我们将这种学习方式称为在线开放世界目标检测 (OLOWOD)。现有的开放世界目标检测 (OWOD) 方法更关注未知类别的识别，而增量学习部分也同样重要。此外，一些神经科学研究表明，特定的噪声允许大脑形成新的连接和神经通路，从而可能提高学习速度和效率。在本文中，我们将旧样本的双层信息作为对新样本的扰动，使模型善于学习新知识而不遗忘旧知识。为此，我们提出了一种名为类脑流式双层扰动 (BSDP) 的简单即插即用方法，以解决 OLOWOD 问题。具体而言：(1) 我们首先计算先前类别的原型，并利用样本与原型之间的距离作为样本选择策略，以选择旧样本进行回放；(2) 然后将原型作为新样本的流式特征级扰动，从而通过重温旧知识来提高模型的可塑性；(3) 同时利用旧类别样本的特征分布生成流式形式的对抗数据作为数据级扰动，以增强模型对新类别的鲁棒性。我们在 PASCAL VOC 和 MS-COCO 上对 BSDP 进行了实证评估，优异的结果证明了我们所提方法和学习模式的良好性能。
引用
@article{arxiv.2403.02637,
title = {BSDP: Brain-inspired Streaming Dual-level Perturbations for Online Open World Object Detection},
author = {Yu Chen and Liyan Ma and Liping Jing and Jian Yu},
journal= {arXiv preprint arXiv:2403.02637},
year = {2024}
}
备注
29 pages, 12 figures