我们可以从《哈利·波特》中学到什么？关于非典型视频的视觉表征学习探索性研究

人类通常在面对开放世界中罕见新概念时展现出卓越的泛化与发现能力。然而，现有大量研究聚焦于封闭数据集中的常见典型数据，而开放世界中的新颖发现在视频领域仍鲜有探索。本文关注以下问题：若将非典型异常视频纳入学习过程，能带来什么收获？为此，我们收集了一个包含多种非典型异常数据类型（如科幻、动画等）的新视频数据集。通过将这些非典型数据输入模型训练过程以进行表征学习，我们研究了其对开放世界学习的影响。本文聚焦三个关键任务：外分布检测 (out-of-distribution, OOD) 检测、新类别发现 (novel category discovery, NCD) 以及零样本动作识别 (zero-shot action recognition, ZSAR)。我们发现，即使是最直接的学习方法在包含非典型数据后，能在各种设置下显著提升性能。进一步地，我们发现，非典型样本的类别多样性提升越来越对 OOD 检测性能的提升。值得注意的是，在 NCD 任务中，使用较小但更语义多样化的非典型样本集，优于使用较大但更典型的数据集。在 ZSAR 设置下，语义多样性强的非典型视频有助于模型对未见动作类别进行更好的泛化。这些发现通过我们的大量实验结果表明，非典型视频对开放世界视觉表征学习具有显著益处，同时我们亦推出了该数据集，旨在鼓励进一步的研究。项目页面如下：https://julysun98.github.io/atypical_dataset。