EgoTransfer：使用深度神经网络在自我中心与第三人称视角域之间迁移运动
计算机视觉与模式识别
2016-12-20 v1 机器学习
神经与进化计算
摘要
在灵长类物种，特别是人类和猴子的初级运动皮层中观察到了镜像神经元。当一个人执行某个动作时，以及当他观察到另一个人执行相同动作时，镜像神经元都会放电。构建具有类人学习能力的完全自主智能系统的关键一步是对镜像神经元进行建模。一方面，近年来自我中心相机的普及为从第一人称视角研究许多视觉问题提供了机会。过去几年中进行了大量有趣的研究，试图从自我的视角探索各种计算机视觉任务。另一方面，由传统静态相机录制的视频从第三人称视角捕捉人类执行不同动作。在这项工作中，我们迈出了关联这两个视角间运动信息的第一步。我们训练模型，通过从第三人称视角观察来预测自我中心视角中的运动，反之亦然。这使得模型能够预测自我中心运动从外部看会是什么样子。为此，我们训练了线性和非线性模型，并在可访问第三人称（自我中心）运动特征的情况下，评估它们在检索自我中心（第三人称）运动特征方面的性能。我们的实验结果表明，运动信息可以成功地在两个视角之间迁移。
引用
@article{arxiv.1612.05836,
title = {EgoTransfer: Transferring Motion Across Egocentric and Exocentric Domains using Deep Neural Networks},
author = {Shervin Ardeshir and Krishna Regmi and Ali Borji},
journal= {arXiv preprint arXiv:1612.05836},
year = {2016}
}