NeuralMagicEye:学习看见并理解立体图背后的场景
计算机视觉与模式识别
2021-01-01 v1
摘要
立体图(又称 magic eye 图像)是一种单图立体图,可从 2D 纹理创造 3D 场景的视觉错觉。本文研究一个有趣的问题:深度 CNN 是否可被训练以恢复立体图背后的深度并理解其内容。立体图魔法的关键在于立体视觉——要解决此问题,模型必须学会从准周期纹理中发现并估计视差。我们表明,嵌入视差卷积(本文提出的模拟立体视觉并编码视差的新型卷积层)的深度 CNN,在大规模 3D 物体数据集上以自监督方式充分训练后,可很好地解决该问题。我们称方法为“NeuralMagicEye”。实验表明,我们的方法能准确恢复立体图背后具有丰富细节和梯度平滑性的深度。实验还显示了神经网络与人眼在立体图感知上的完全不同工作机制。我们希望该研究能帮助视力障碍者及难以观看立体图的人。代码见 \url{https://jiupinjia.github.io/neuralmagiceye/}。
引用
@article{arxiv.2012.15692,
title = {NeuralMagicEye: Learning to See and Understand the Scene Behind an Autostereogram},
author = {Zhengxia Zou and Tianyang Shi and Yi Yuan and Zhenwei Shi},
journal= {arXiv preprint arXiv:2012.15692},
year = {2021}
}