动作中的动素：通过运动基元进行视频理解
计算机视觉与模式识别
2023-04-10 v1
摘要
本文中，我们引入一种基于规则、组合式且层次化的动作建模，以动素（Therbligs）作为基本单元。引入这些原子为我们提供了一致、富有表现力且以接触为中心的的动作表征。在这些原子之上，我们提出一种基于规则推理的可微方法，以对逻辑一致性进行正则化。我们的方法与其他方法互补，因为我们的架构所产生的基于动素的表征是对现有架构表征的增强而非替代。我们发布了首个以动素为中心的标注，覆盖两个流行视频数据集——EPIC Kitchens 100 和 50-Salads。我们还通过在以下任务上的评估广泛展示了采用动素表征的益处：动作分割、动作预测和动作识别——在 EPIC Kitchens 上分别观察到平均 10.5%/7.53%/6.5% 的相对提升，在 50 Salads 上分别观察到平均 8.9%/6.63%/4.8% 的相对提升。代码与数据将公开可用。
引用
@article{arxiv.2304.03631,
title = {Therbligs in Action: Video Understanding through Motion Primitives},
author = {Eadom Dessalene and Michael Maynord and Cornelia Fermuller and Yiannis Aloimonos},
journal= {arXiv preprint arXiv:2304.03631},
year = {2023}
}
备注
8 pages