LAPIG: 语言引导投影图像生成与表面适应和风格化

我们提出LAPIG，一种具有表面适应和风格化的语言引导投影图像生成方法。LAPIG由一个投影-摄像系统和目标纹理投影表面组成。LAPIG以用户文本提示为输入，旨在利用投影仪变换表面风格。LAPIG的关键挑战在于，由于投影仪的物理亮度限制和表面纹理，观察者感知的投影在暗区和亮区均可能出现色彩饱和度不足和伪影，即使采用最先进的投影补偿技术，观察者仍可能看到明显的表面纹理相关伪影。因此，如何生成既遵循用户指令又显示最少表面伪影的投影图像是一个开放问题。为解决此问题，我们提出投影表面适应（PSA），可生成可补偿的表面风格化。我们首先训练两个网络来模拟投影补偿和投影-采集过程，这使我们无需实际的投影-采集即可获得满意的投影图像，并利用梯度下降实现快速收敛。然后，我们设计内容和饱和度损失来引导投影图像生成，使得生成的图像在投影时没有明显可感知的伪影。最后，生成的图像被投影以实现视觉上令人愉悦的表面风格变换效果。源代码和视频可在项目页面获取：https://Yu-chen-Deng.github.io/LAPIG/。