利用跨模型自我监督学习协作篮球意图
计算机视觉与模式识别
2017-09-07 v1
摘要
我们提出了一种用于协作篮球意图预测的第一人称方法：从无标签的第一人称图像中预测佩戴相机者在不久的将来将与谁进行协作。这是一项具有挑战性的任务，需要推断佩戴相机者的视觉注意力并解码其他球员的社交线索。我们的关键观察是，第一人称视角提供了强有力的线索来推断佩戴相机者瞬时的视觉注意力及其意图。我们利用这一观察结果，提出了一种新的跨模型自我监督（cross-model EgoSupervision）学习方案，使我们能够在不使用人工标注的意图标签的情况下，预测佩戴相机者在不久的将来将与谁协作。我们的跨模型自我监督通过将预训练姿态估计网络的输出转换为伪真值标签来运作，这些标签随后被用作监督信号来训练用于协作意图任务的新网络。我们评估了该方法，结果表明其达到了与全监督方法相当甚至更高的准确率。
引用
@article{arxiv.1709.01630,
title = {Using Cross-Model EgoSupervision to Learn Cooperative Basketball Intention},
author = {Gedas Bertasius and Jianbo Shi},
journal= {arXiv preprint arXiv:1709.01630},
year = {2017}
}