通过动态最优传输改进自编码器图像插值
最优化与控制
2024-04-16 v1
摘要
自编码器是重要的生成模型，除其他功能外，还具有插值图像序列的能力。然而，插值得到的图像通常在语义上缺乏意义。本文受动态最优传输的启发，将图像插值视为一个质量传输问题，并提出一种新颖的正则化项，以惩罚插值结果中不平滑和不真实的变化。具体来说，我们为连接源图像和目标图像的每条路径定义了路径能量函数。自编码器经过训练，在解码其潜在编码的线性插值时生成 最优传输测地路径。通过简单的扩展，该模型可以处理复杂环境，例如允许在障碍物之间进行质量传输以及非平衡最优传输。所提出方法的一个关键特点是它由物理驱动，即使在仅有非常有限的训练数据可用时，也能生成鲁棒且真实的解释结果。
引用
@article{arxiv.2404.08900,
title = {Improving Autoencoder Image Interpolation via Dynamic Optimal Transport},
author = {Xue Feng and Thomas Strohmer},
journal= {arXiv preprint arXiv:2404.08900},
year = {2024}
}