NovelCraft：一种用于开放世界中新颖性检测与发现的数据集

为了让人工智能体能够在不断变化的环境中成功执行任务，它们必须既能检测新颖性又能适应新颖性。然而，视觉新颖性检测研究通常仅在诸如 CIFAR-10 等原本用于物体分类的复用数据集上评估，其中图像聚焦于一个 distinct、居中的物体。需要新的基准来体现开放世界复杂场景导航所面临的挑战。我们的新数据集 NovelCraft 包含在修改后的 Minecraft 环境中完成弹簧单高跷组装任务的智能体所看到的图像与符号世界状态的多模态片段数据。在某些片段中，我们在复杂 3D 场景中插入了大小不一、可能影响游戏进程的新颖物体。我们的视觉新颖性检测基准发现，在流行的曲线下面积（AUC）指标上排名最佳的方法，在控制假阳性最为重要时，可能被更简单的替代方法超越。进一步的多模态新颖性检测实验表明，融合视觉与符号信息的方法能够改善检测到新颖性的时间以及整体判别能力。最后，我们对近期广义类别发现方法的评估表明，在复杂场景中适应新的不平衡类别仍是一个令人振奋的开放问题。