通过检测动作边界缓解过分割错误
计算机视觉与模式识别
2020-07-15 v1
摘要
我们针对时间动作分割任务提出了一个有效框架，即动作分割精炼框架(ASRF)。我们的模型架构由一个长时特征提取器和两个分支组成：动作分割分支(ASB)和边界回归分支(BRB)。长时特征提取器为两个分支提供具有宽广时间感受野的共享特征。ASB对视频帧进行动作类别分类，而BRB回归动作边界概率。BRB预测的动作边界对ASB的输出进行精炼，从而带来显著的性能提升。我们的贡献有三方面：(i)我们提出了一种用于时间动作分割的框架ASRF，其将时间动作分割划分为逐帧动作分类和动作边界回归。我们的框架利用预测的动作边界精炼动作类别的帧级假设。(ii)我们提出了一种用于平滑动作概率过渡的损失函数，并分析了时间动作分割中各种损失函数的组合。(iii)我们的框架在三个具有挑战性的数据集上优于最先进的方法，在分段编辑距离上提升高达13.7%，在分段F1分数上提升高达16.1%。我们的代码将很快公开。
引用
@article{arxiv.2007.06866,
title = {Alleviating Over-segmentation Errors by Detecting Action Boundaries},
author = {Yuchi Ishikawa and Seito Kasai and Yoshimitsu Aoki and Hirokatsu Kataoka},
journal= {arXiv preprint arXiv:2007.06866},
year = {2020}
}
备注
under review