基于目标编码器引导的对象中心化预训练

对象中心化表征学习最近成功应用于真实数据集。这种成功归因于预训练的非对象中心化基础模型，其特征作为槽注意力的重构目标。然而，目标必须在整个训练期间保持冻结，这会限制对象中心化模型能够达到的性能上限。尝试通过引导方式更新目标编码器会导致显著性能下降，这归因于其缺乏对象中心化的归纳偏置，使得对象中心化模型的编码器偏离有用作重构目标的表示。为解决这些限制，我们提出了对象中心化预训练通过目标编码器引导（Object-CEntric Pretraining by Target Encoder BOotstrapping, OCEBO），这是一种用于在真实数据上从头训练对象中心化模型的自我蒸馏设置。在OCEBO中，目标编码器作为对象中心化模型的指数移动平均进行更新，因而显式地通过槽注意力引入的对象中心化归纳偏置，同时消除了其他模型中存在的性能上限。我们通过引入一种新颖的跨视图补丁过滤方法来缓解目标编码器随机初始化导致的槽位崩溃问题，该方法限制监督仅限于足够信息丰富的补丁。在在24.1万张COCO图像上预训练后，OCEBO实现的无监督对象发现性能与使用冻结的非对象中心化目标编码器预训练数百万图像的模型相当。代码和预训练模型均可公开获取，地址为 https://github.com/djukicn/ocebo。