基于多模态联合嵌入学习的表观编码
计算机视觉与模式识别
2023-11-21 v1 人工智能
摘要
近期生成建模工作中表观编码的使用实现了具有可变表观与光照的新视角渲染，例如场景的白天与夜间渲染。该技术的一个主要局限是推理时需要对每个场景重新训练新的表观编码，因此本文针对此问题提出一种框架，通过对不同模态施加对比损失约束，学习场景表观与结构的联合嵌入空间。我们将该框架应用于RADIATE数据集\cite{sheeny2021radiate}上的简单变分自编码器（VAE）模型，并从定性上展示：无需额外优化迭代，我们即可利用白天表观编码生成夜间照片的新渲染。此外，我们将我们的模型与使用标准逐图像表观编码技术的基线VAE进行比较，表明我们的方法在推理时无需为任何未见图像学习表观编码，即可实现相似质量的生成。
引用
@article{arxiv.2311.11427,
title = {Appearance Codes using Joint Embedding Learning of Multiple Modalities},
author = {Alex Zhang and Evan Dogariu},
journal= {arXiv preprint arXiv:2311.11427},
year = {2023}
}