用于均匀扩散修复的 4K 掩膜高效神经生成
图像与视频处理
2023-05-17 v2 计算机视觉与模式识别
机器学习
摘要
在数据选择得当的情况下，均匀扩散修复能从稀疏数据高质量重建图像。虽然尺寸 3840 x 2160 的 4K 彩色图像已可实时修复，但为图像压缩等应用优化已知数据仍具挑战：广泛使用的随机策略对单张 4K 图像可能耗时数天。近期，首个针对该所谓掩膜优化问题的神经方法为小图像提供了高速度与良好质量。其借助神经修复代理训练掩膜生成网络。然而，这些掩膜网络只能输出其训练所针对分辨率与掩膜密度的掩膜。我们解决这些问题，通过神经显式由粗到细策略实现高分辨率图像的掩膜优化。此外，我们将数值修复求解器直接嵌入网络，改善掩膜网络的训练与可解释性。这可在约 0.6 秒内生成 4K 图像掩膜，同时在实用相关密度上超越随机方法质量。相较现有流行方法，加速达四个数量级。
引用
@article{arxiv.2303.10096,
title = {Efficient Neural Generation of 4K Masks for Homogeneous Diffusion Inpainting},
author = {Karl Schrader and Pascal Peter and Niklas Kämper and Joachim Weickert},
journal= {arXiv preprint arXiv:2303.10096},
year = {2023}
}