弥合计算摄影与视觉识别之间的鸿沟
计算机视觉与模式识别
2020-10-01 v3
摘要
在欠理想条件下获取的退化图像上，图像复原与增强的当前最优技术水平如何？将此类算法作为预处理步骤应用，能否改善人工分析或自动视觉识别对场景内容分类的图像可解释性？尽管计算摄影在复原或增强图像视觉质量方面已取得重要进展，这类技术的性能并非总能有效转化为视觉识别任务中的实用价值。因此，迫切需要从联合改善视觉外观与识别这一问题出发设计算法，这将是在众多真实场景部署视觉识别工具的赋能因素。为此，我们引入 UG^2 数据集作为由挑战性条件下捕获的视频图像组成的大规模基准，以及两项旨在检验算法对视觉质量与自动目标识别影响的处理任务。此外，我们提出一组度量标准来评估此类任务的联合改进及单项算法进展，包括基于心理物理学的人类评估新机制，以及一套切合实际的目标识别性能定量测度。我们介绍了六种用于图像复原或增强的新算法，它们是在 CVPR 2018 举办的 IARPA 赞助 UG^2 Challenge 研讨会上创建的。在所提评估机制下，我们深入分析了这些算法以及众多基于深度学习与经典的基线方法。从观测结果明显可见，我们正处于构建计算摄影与视觉识别之间桥梁的早期阶段，该领域尚存大量创新机遇。
引用
@article{arxiv.1901.09482,
title = {Bridging the Gap Between Computational Photography and Visual Recognition},
author = {Rosaura G. VidalMata and Sreya Banerjee and Brandon RichardWebster and Michael Albright and Pedro Davalos and Scott McCloskey and Ben Miller and Asong Tambo and Sushobhan Ghosh and Sudarshan Nagesh and Ye Yuan and Yueyu Hu and Junru Wu and Wenhan Yang and Xiaoshuai Zhang and Jiaying Liu and Zhangyang Wang and Hwann-Tzong Chen and Tzu-Wei Huang and Wen-Chi Chin and Yi-Chun Li and Mahmoud Lababidi and Charles Otto and Walter J. Scheirer},
journal= {arXiv preprint arXiv:1901.09482},
year = {2020}
}
备注
CVPR Prize Challenge: http://www.ug2challenge.org