用于从RGB进行空间上下文感知光谱图像重建的对抗网络
计算机视觉与模式识别
2018-03-15 v2
摘要
高光谱信号重建旨在恢复由捕获设备或观察者产生的特定三色（RGB）响应所对应的原始光谱输入。鉴于该问题高度欠约束、非线性的本质，传统技术利用光谱信号的不同统计特性，从真实世界物体反射率构建信息先验，以建立此类RGB到光谱信号的映射。然而，大多数方法独立处理每个样本，因此未能利用空间维度可提供的上下文信息。我们将高光谱自然图像重建视为图像到图像映射学习问题，并应用条件生成对抗框架以帮助捕获空间语义。这是卷积神经网络（Convolutional Neural Networks, CNN）——尤其是生成对抗网络（Generative Adversarial Networks, GAN）——首次被用于解决该任务。定量评估显示，在ICVL自然高光谱图像数据集上，均方根误差（Root Mean Squared Error, RMSE）降低了33.2%，相对RMSE降低了54.0%。
引用
@article{arxiv.1709.00265,
title = {Adversarial Networks for Spatial Context-Aware Spectral Image Reconstruction from RGB},
author = {Aitor Alvarez-Gila and Joost van de Weijer and Estibaliz Garrote},
journal= {arXiv preprint arXiv:1709.00265},
year = {2018}
}
备注
Accepted at IEEE ICCVW 2017 - "Physics Based Vision meets Deep Learning" Workshop (PBDL 2017). Added train-test splits and updated results