从后验采样到图像复原中的有意义多样性

图像复原问题通常是病态的，因为每个退化图像都可以用无穷多种有效方式复原。为应对这一点，许多工作通过尝试从给定退化输入的自然图像后验分布中随机采样来生成多样化输出集。本文认为该策略因后验分布的重尾性而通常实用价值有限。例如考虑修复图像中缺失的天空区域。由于缺失区域不含物体而仅含云的概率很高，后验的任何样本集都将完全由（实际相同的）天空补全所主导。然而，可以说向用户仅呈现一个晴空补全，以及若干替代方案如飞艇、鸟和气球，能更好地勾勒可能性集合。本文开创性地研究有意义多样性图像复原。我们探索了几种后处理方法，可与任意多样性图像复原方法结合以产生语义上有意义的多样性。此外，我们提出一种实用方法，使基于扩散的图像复原方法能以可忽略的计算开销生成有意义多样性输出。我们开展广泛用户研究分析所提技术，发现降低输出间相似度的策略显著优于后验采样。代码与示例见 https://noa-cohen.github.io/MeaningfulDiversityInIR。