2by2：全局动作分割的弱监督学习
计算机视觉与模式识别
2024-12-18 v1
摘要
本文提出一种简单却有效的方法，用于处理这个 poorly 调查的任务，即全局动作分割（global action segmentation），旨在将捕获相同动作的帧在不同活动的视频中进行分组。与 depict 所有相同活动的视频不同，不同视频之间的动作时间顺序并不大致相同，这使得该任务更具挑战性。我们提议使用活动标签，在弱监督方式下学习适合全局动作分割的动作表示。为此，我们引入一种针对视频对的三元学习方法，以确保同一视频内的动作区分，以及视频间和跨活动的动作关联。对于 backbone 架构，我们使用基于稀疏变换器的双肩网络（Siamese network），输入为视频对，用于确定它们是否属于同一活动。我们的方法在两个具有挑战性的基准数据集上得到验证：Breakfast 和 YouTube Instructions，超过了 state-of-the-art 方法。
引用
@article{arxiv.2412.12829,
title = {2by2: Weakly-Supervised Learning for Global Action Segmentation},
author = {Elena Bueno-Benito and Mariella Dimiccoli},
journal= {arXiv preprint arXiv:2412.12829},
year = {2024}
}