Color3D: 具有个性化着色器的可控且一致的 3D 着色

在这项工作中，我们提出了Color3D，一个高度自适应的框架，用于从单色输入对静态和动态3D场景进行着色，通过灵活的用户引导控制，提供视觉多样且色彩鲜艳的重建。与仅关注静态场景并通过平均颜色变化来强制多视图一致性（这不可避免地牺牲了色彩丰富性和可控性）的现有方法相比，我们的方法能够保持色彩多样性和可引导性，同时确保跨视图和跨时间的一致性。特别地，我们方法的核心见解是仅对单个关键视图进行着色，然后微调一个个性化的着色器，将其颜色传播到新的视图和时间步。通过个性化，着色器学习了参考视图下场景特定的确定性颜色映射，使其能够通过其固有的归纳偏置，将相应的颜色一致地投影到新视图和视频帧中的内容上。一旦训练完成，个性化着色器可用于推断所有其他图像的一致色度，从而通过专用的Lab颜色空间高斯溅射表示直接重建多彩的3D场景。所提出的框架巧妙地将复杂的3D着色问题重新构建为更易处理的单图像范式，允许无缝集成任意图像着色模型，并具有增强的灵活性和可控性。在多种静态和动态3D着色基准上的大量实验证明，我们的方法能够提供更一致、色彩更丰富的渲染，并具有精确的用户控制。项目页面 https://yecongwan.github.io/Color3D/。