深入未知：探索动作发现以实现已知与未知动作的分割
计算机视觉与模式识别
2025-08-08 v1
摘要
我们提出动作发现（Action Discovery）方法，这是一种新颖的时序动作分割框架，旨在解决定义和标注模糊动作以及部分标注数据中不完整标注的挑战。在该框架中，只有一部分动作——称为已知动作——在训练数据中被标注，而其他未知动作则保持未标注。这种情景在神经科学等领域尤为 Relevant，因为明确定义的行为（如行走、进食）与细微或不频繁的动作常常被忽视；同时在数据本质上部分标注的应用场景中亦普遍存在。为解决此问题，我们提出了两步方法，利用已知标注引导未知动作片段的时序与语义细粒度。首先，我们引入细粒度引导分割模块（GGSM），通过模仿已标注动作的细粒度，识别已知动作和未知动作的时序区间。其次，我们提出未知动作片段分配（UASA），基于学习到的嵌入相似性识别未知动作中的语义意义类别。我们在三个具有挑战性的数据集上系统性地探索了动作发现设定——Breakfast、50Salads 和 Desktop Assembly，证明我们的方法在现有基线上显著提升。
引用
@article{arxiv.2508.05529,
title = {Looking into the Unknown: Exploring Action Discovery for Segmentation of Known and Unknown Actions},
author = {Federico Spurio and Emad Bahrami and Olga Zatsarynna and Yazan Abu Farha and Gianpiero Francesca and Juergen Gall},
journal= {arXiv preprint arXiv:2508.05529},
year = {2025}
}