Interactron：具身自适应目标检测

多年来，针对目标检测问题已提出多种方法。近来，由于强大深度神经网络的出现，我们在该领域见证了巨大进步。然而，这些方法通常有两个共同的主要假设。第一，模型在固定训练集上训练并在预录制测试集上评估。第二，模型在训练阶段后保持冻结，训练结束后不再进行更新。这两个假设限制了这些方法在真实世界场景中的适用性。本文中，我们提出Interactron，一种用于交互式设定中自适应目标检测的方法，其目标是在具身智能体于不同环境中导航所观测的图像中执行目标检测。我们的思路是在推理期间持续训练，并通过与环境交互在无任何显式监督的情况下于测试时自适应模型。我们的自适应目标检测模型相较DETR（一种近期的高性能目标检测器）在AP上提供7.2个点的提升（AP50上12.7个点）。此外，我们表明我们的目标检测模型可适应具有完全不同外观特性的环境，并在其中表现良好。代码可见于：https://github.com/allenai/interactron 。