DIR-AS：解耦个体识别与时间推理的动作分割方法
计算机视觉与模式识别
2023-04-06 v1
摘要
全监督动作分割在密集标注下进行逐帧动作识别，常受过度分割问题困扰。现有工作提出了多种解决方案，如边界感知网络、多阶段细化以及时间平滑损失。然而，它们大多利用逐帧监督，无法有效应对不同粒度的评估指标。本文中，为获得理想的大感受野，我们首先提出一种新颖的局部-全局注意力机制，结合时间金字塔膨胀与时间金字塔池化以实现高效的多尺度注意力。随后，我们将动作分割中两个固有目标解耦，即（1）由逐帧监督解决的个体识别，以及（2）由动作集预测处理的时间推理。之后，一个动作对齐模块融合这些不同粒度的预测，从而得到更准确且更平滑的动作分割。我们取得了最先进的精度，例如在 GTEA 上 82.8%（+2.6%）、在 Breakfast 上 74.7%（+1.2%），并通过大量消融实验证明了所提方法的有效性。代码稍后公开。
引用
@article{arxiv.2304.02110,
title = {DIR-AS: Decoupling Individual Identification and Temporal Reasoning for Action Segmentation},
author = {Peiyao Wang and Haibin Ling},
journal= {arXiv preprint arXiv:2304.02110},
year = {2023}
}