时序动作分割中时间戳监督的通用鲁棒框架
计算机视觉与模式识别
2022-07-22 v1
摘要
在时序动作分割中，时间戳监督每个视频序列仅需少量标注帧。对于未标注帧，先前工作依赖于赋予硬标签，且在标注假设被轻微违背时性能迅速崩溃。我们提出一种新颖的基于期望最大化（EM）的方法，其利用未标注帧的标签不确定性，并足够鲁棒以容纳可能的标注错误。在准确时间戳标注下，我们所提方法取得了 SOTA 结果，并在多个指标与数据集上甚至超越全监督设定。当应用于含缺失动作段的时间戳标注时，我们的方法表现出稳定性能。为进一步检验我们公式的鲁棒性，我们引入了 Skip-tag 监督这一新颖且具有挑战性的标注设定。该设定放宽约束，要求标注视频中任意固定数量的随机帧，比时间戳监督更灵活同时保持竞争力。
引用
@article{arxiv.2207.10137,
title = {A Generalized & Robust Framework For Timestamp Supervision in Temporal Action Segmentation},
author = {Rahul Rahaman and Dipika Singhania and Alexandre Thiery and Angela Yao},
journal= {arXiv preprint arXiv:2207.10137},
year = {2022}
}