使用对称跳跃自编码器与对抗正则化器的图像融合
机器学习
2020-06-05 v2 机器学习
图像与视频处理
摘要
结合可见光图像的空间特性与红外图像的频谱内容以兼取两者之长是一项具有挑战性的任务。本文中，我们提出一种空间约束对抗自编码器，从红外与可见光图像中提取深度特征以获得更详尽和全局的表示。我们提出一种残差自编码器架构，由残差对抗网络正则化，以生成更逼真的融合图像。残差模块作为编码器、解码器和对抗网络的主要构件，此外对称跳跃连接实现了将空间特性从编码器结构的初始层直接嵌入到网络的解码器部分的功能。红外图像中的频谱信息通过在融合结构编码器部分的多层上叠加特征图来引入，从而对可见光和红外图像分别进行推断。为高效优化网络参数，我们提出一种对抗正则化网络，对融合图像与原始可见光图像执行监督学习。
引用
@article{arxiv.2005.00447,
title = {Image fusion using symmetric skip autoencodervia an Adversarial Regulariser},
author = {Snigdha Bhagat and S. D. Joshi and Brejesh Lall},
journal= {arXiv preprint arXiv:2005.00447},
year = {2020}
}