Watch-n-Patch：动作与关系的无监督学习
计算机视觉与模式识别
2016-03-14 v1 机器学习
机器人学
摘要
人类日常进行的活动存在很大差异。我们考虑在完全无监督的设置下对这些由多个基本层级动作组成的复合人类活动进行建模。我们的模型学习动作间高层的共现与时间关系。我们将视频视为包含人体词与物体词的短期动作片段序列。一个活动是关于一组动作主题与物体主题，指示哪些动作存在以及与哪些物体交互。随后我们提出一种新的关联词与主题的概率模型。它使我们能够对复合活动中普遍存在的长距离动作关系进行建模，这在以往工作中是具有挑战性的。我们将模型应用于无监督动作分割与聚类，以及一种检测遗忘动作的新应用，我们称之为 action patching（动作修补）。为评估，我们贡献了一个由新 Kinect v2 记录的具有挑战性的新 RGB-D 活动视频数据集，其包含若干人类日常活动作为与不同物体交互的多个动作的组合。此外，我们开发了一个通过应用我们的动作修补算法来观看人并提醒人的机器人系统。我们的机器人设置可轻易部署于任何辅助机器人上。
引用
@article{arxiv.1603.03541,
title = {Watch-n-Patch: Unsupervised Learning of Actions and Relations},
author = {Chenxia Wu and Jiemi Zhang and Ozan Sener and Bart Selman and Silvio Savarese and Ashutosh Saxena},
journal= {arXiv preprint arXiv:1603.03541},
year = {2016}
}
备注
arXiv admin note: text overlap with arXiv:1512.04208