一种带遮挡处理的轻量级单目视图生成神经网络
计算机视觉与模式识别
2020-07-27 v1
摘要
本文提出一种非常轻量级的神经网络架构，基于立体数据对训练，可从单张图像进行视图合成。随着多视图格式日益成功，这一问题确实愈发重要。该网络基于视差估计返回预测结果，并利用遮挡处理技术填充错误预测区域。为此，在训练过程中，网络学习估计立体输入图像对上的左右一致性结构约束，以便在测试时能从单张图像复现该约束。该方法建立在融合两种预测的思想之上：基于视差估计的预测，以及基于遮挡区域直接最小化的预测。网络还能在训练和测试时通过检查所生成视差图的逐像素左右一致性来识别这些遮挡区域。在测试时，该方法可从一张输入图像生成立体视图和右侧视图，以及深度图和逐像素预测置信度度量。在具有挑战性的 KITTI 数据集上，该工作在视觉和指标方面均优于最先进的方法，同时将所需参数量（650 万）显著降低了一个数量级（5 到 10 倍）。
引用
@article{arxiv.2007.12577,
title = {A Lightweight Neural Network for Monocular View Generation with Occlusion Handling},
author = {Simon Evain and Christine Guillemot},
journal= {arXiv preprint arXiv:2007.12577},
year = {2020}
}
备注
Accepted at IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI) in December 2019