用于时间动作分割的活动语法
计算机视觉与模式识别
2023-12-08 v1
摘要
时间序列数据的序列预测需要理解超越个体和上下文属性的多层次语义的组合结构。时间动作分割任务旨在将未修剪的活动视频翻译成动作片段序列，由于这个原因仍然具有挑战性。本文通过引入一种有效的活动语法来指导时间动作分割的神经预测，解决了这个问题。我们提出了一种新颖的语法归纳算法，从动作序列数据中提取强大的上下文无关语法。我们还开发了一个高效的广义解析器，根据具有递归规则的归纳语法，将帧级概率分布转换为可靠的动作序列。我们的方法可以与任何用于时间动作分割的神经网络结合，以增强序列预测并发现其组合结构。实验结果表明，我们的方法在两个标准基准（Breakfast和50 Salads）上显著提高了时间动作分割的性能和可解释性。
引用
@article{arxiv.2312.04266,
title = {Activity Grammars for Temporal Action Segmentation},
author = {Dayoung Gong and Joonseok Lee and Deunsol Jung and Suha Kwak and Minsu Cho},
journal= {arXiv preprint arXiv:2312.04266},
year = {2023}
}
备注
Accepted to NeurIPS 2023