谁把狗放出来了？从视觉数据建模狗的行为
计算机视觉与模式识别
2018-05-21 v2
摘要
我们引入了直接建模一个具有视觉智能的代理的任务。计算机视觉通常聚焦于解决与视觉智能相关的各种子任务。我们偏离了这一标准的计算机视觉方法，而是直接建模一个具有视觉智能的代理。我们的模型以视觉信息为输入，并直接预测该代理的动作。为此我们引入了 DECADE，一个来自狗的视角的自我中心视频及其对应运动的大规模数据集。利用该数据我们建模狗如何行动以及狗如何规划其运动。我们在多种度量下表明，仅给定视觉输入，我们便能在许多情形下成功建模该智能代理。此外，我们的模型所学到的表征与基于图像分类训练的表征编码了不同的信息，且我们学到的表征可泛化到其他领域。特别地，我们通过在表征学习中使用该狗建模任务，在可行走表面估计任务上展示了强劲的结果。
引用
@article{arxiv.1803.10827,
title = {Who Let The Dogs Out? Modeling Dog Behavior From Visual Data},
author = {Kiana Ehsani and Hessam Bagherinezhad and Joseph Redmon and Roozbeh Mottaghi and Ali Farhadi},
journal= {arXiv preprint arXiv:1803.10827},
year = {2018}
}
备注
Accepted to CVPR18