用于主动视觉识别的几何感知循环神经网络
计算机视觉与模式识别
2018-11-15 v2
摘要
我们提出循环几何感知神经网络，将场景多视角下的视觉信息整合为3D潜在特征张量，同时保持世界场景中3D物理位置与潜在特征位置之间的一一映射。随后直接使用所构建的3D特征记忆进行目标检测、目标分割和3D重建，而非使用任何输入的2D图像。所提模型配备了可微分的自运动感知特征扭曲和（学习的）深度感知反投影操作，以实现输入帧中特征与所构建场景潜在模型之间几何一致的映射。我们通过实验表明，所提模型比几何无感知的LSTM/GRU网络泛化能力强得多，尤其在存在多个目标和目标间遮挡的情况下。结合主动视角选择策略，我们的模型学会选择信息丰富的视点，通过“撤销”目标间遮挡来整合信息，将几何与经验学习无缝结合。
引用
@article{arxiv.1811.01292,
title = {Geometry-Aware Recurrent Neural Networks for Active Visual Recognition},
author = {Ricson Cheng and Ziyan Wang and Katerina Fragkiadaki},
journal= {arXiv preprint arXiv:1811.01292},
year = {2018}
}
备注
To appear in NIPS2018