面向长尾时序动作分割的成本敏感学习

未裁剪过程性视频中的时序动作分割旨在将帧密集标注为动作类别。这些视频天然呈现长尾分布,其中动作的频率与持续时间差异很大。在时序动作分割方法中,我们识别出一种双层学习偏差。该偏差包括:(1) 类别层面的偏差,源于有利于头部类别的类别不平衡;(2) 过渡层面的偏差,源于过渡的变化,优先考虑常见的过渡。作为补救措施,我们引入一个约束优化问题以缓解这两种偏差。我们为动作类别及其相关过渡定义学习状态,并将其整合到优化过程中。我们提出了一种新颖的成本敏感损失函数,该函数被构造为加权交叉熵损失,其权重根据动作及其过渡的学习状态进行自适应调整。在三个具有挑战性的时序分割基准与多种框架上的实验证明了我们方法的有效性,在逐类别逐帧与逐片段性能方面均带来了显著提升。