填充细节：从低保真图像中感知
计算机视觉与模式识别
2016-04-15 v1 机器学习
神经与进化计算
摘要
人类能够以极高的细节感知周围环境，尽管视网膜将我们大部分视野降为低保真、缺乏颜色（例如双色）的输入。相反，大多数深度学习架构在计算上是浪费的，因为它们在执行图像处理任务时考虑输入的每一个部分。然而，人类视觉系统尽管只有一个具有高视觉敏锐度的小凹（fovea），却能够进行视觉推理。鉴于此，我们希望了解连接主义架构能从低敏锐度、失真的输入中学习和推理的程度。具体而言，我们训练自编码器从这些图像的低细节“中央凹化”（foveations）版本生成全细节图像，然后衡量它们从中央凹化版本重建全细节图像的能力。通过改变中央凹化的类型，我们可以研究这些架构应对各类失真的能力。我们发现自编码器通过学习日益全局的特征函数来补偿较低的细节。在许多情况下，学到的特征适用于重建原始全细节图像。例如，我们发现即使 75\% 的输入是无色的，网络也能准确感知周边颜色。
引用
@article{arxiv.1604.04125,
title = {Filling in the details: Perceiving from low fidelity images},
author = {Farahnaz Ahmed Wick and Michael L. Wick and Marc Pomplun},
journal= {arXiv preprint arXiv:1604.04125},
year = {2016}
}