FusionVAE：一种用于 RGB 图像融合的深度分层变分自编码器
计算机视觉与模式识别
2022-09-26 v1 人工智能
机器学习
摘要
传感器融合能显著提升许多计算机视觉任务的性能。然而，传统融合方法要么非数据驱动、无法利用先验知识或发现给定数据集中的规律，要么局限于单一应用。我们通过提出一种称为 FusionVAE 的新型深度分层变分自编码器来克服这一缺陷，它可作为许多融合任务的基础。我们的方法能够生成以多个含噪、被遮挡或仅部分可见的输入图像为条件的多样化图像样本。我们推导并优化了 FusionVAE 条件对数似然的变分下界。为全面评估模型的融合能力，我们基于流行的计算机视觉数据集创建了三个新型图像融合数据集。在实验中，我们表明 FusionVAE 学习到了与融合任务相关的聚合信息表征。结果证明我们的方法显著优于传统方法。此外，我们给出了不同设计选择的优缺点。
引用
@article{arxiv.2209.11277,
title = {FusionVAE: A Deep Hierarchical Variational Autoencoder for RGB Image Fusion},
author = {Fabian Duffhauss and Ngo Anh Vien and Hanna Ziesche and Gerhard Neumann},
journal= {arXiv preprint arXiv:2209.11277},
year = {2022}
}
备注
Accepted at ECCV 2022