用于数据驱动隐藏场景恢复的闪光摄影
计算机视觉与模式识别
2018-10-30 v1
摘要
车辆、搜救人员和内窥镜使用闪光灯来定位、识别并观察其周围的物体。本文展示了如何使用消费级相机在拐角周围完成上述所有任务的第一步。近期利用消费级相机进行非视距(NLOS)成像的技术尚无法同时定位并识别隐藏物体。我们提出了一种结合传统几何理解与数据驱动技术的方法。为避免大规模数据集采集的局限,我们在渲染样本上训练数据驱动模型,以在计算上从真实数据中恢复隐藏场景。该方法具有三种独立工作模式:1)回归输出以在二维中定位隐藏物体;2)识别输出以判别物体类别或姿态;3)生成网络以从新视角重建隐藏场景。该方法能够在二维中以1.7 cm的精度定位宽12 cm的隐藏物体,并以87.7%的准确率(随机准确率为33.3%)识别隐藏物体类别。本文还分析了在可访问场景中编码被遮挡物体的信息分布。我们表明,与先前认知不同,拐角外侧延伸区域对于准确的物体定位与识别至关重要。
引用
@article{arxiv.1810.11710,
title = {Flash Photography for Data-Driven Hidden Scene Recovery},
author = {Matthew Tancik and Guy Satat and Ramesh Raskar},
journal= {arXiv preprint arXiv:1810.11710},
year = {2018}
}