利用以手为中心的特征与脚本数据识别细粒度及复合活动

活动识别近年来取得了令人印象深刻的进展。然而，检测细粒度活动并理解它们如何组合成复合活动的挑战在很大程度上被忽视了。本工作中我们处理这两项任务，并提供一个提供详细标注的数据集以应对它们。第一个挑战是检测细粒度活动，其由低类间差异性定义，并典型地以细粒度身体运动为特征。我们通过比较两种基于姿态的和两种以手为中心的特征与最先进的整体特征，探索人体姿态和手如何帮助应对此挑战。为攻克第二个挑战，即识别复合活动，我们利用这些活动是组合性的事实，且活动的本质组件可从文本描述或脚本获得。我们展示了以手为中心的方法对细粒度活动分类与检测的好处。对于复合活动识别，我们发现分解为属性允许在复合体间共享信息，且对攻克此困难任务至关重要。利用脚本数据，我们能在没有其训练数据的情况下识别新颖复合体。