瓦片提示：克服图像和视频超分辨率中的提示误导

文本条件扩散模型通过将提示作为语义先验来推进图像和视频超分辨率，而现代超分辨率管道通常依赖潜在瓦片化以适应高分辨率。实际应用中，常使用单一全局描述符搭配潜在瓦片化，导致提示误导。具体而言，粗糙的全局提示会遗漏局部细节（遗漏错误），并提供局部无关的指导（委托错误），从而在瓦片级别产生次优结果。为解决此问题，我们提出了瓦片提示（Tiled Prompts），一种用于图像和视频超分辨率的统一框架，为每个潜在瓦片生成特定的提示，并在局部文本条件后验下进行超分辨率，以最小开销解决提示误导。我们的实验在高分辨率真实图像和视频上表明，瓦片提示在感知质量和保真度方面 consistently 获得提升，同时减少了全局提示基线中存在的幻觉和瓦片级伪影。项目页面：https://bryanswkim.github.io/tiled-prompts/。