基于 Token 级扩散的区域感知颜色编辑：Recolour What Matters

颜色是图像生成中最具感知显著性却最少可控属性之一。虽然最近的扩散模型可以从用户指令中修改物体颜色，但其结果常常偏离预期的色调，尤其是针对细粒度和局部编辑。早期基于文本的方法依赖离散语言描述，无法准确表示连续的色度变化。为此，我们提出 ColourCrafter，一个将颜色编辑从全局色调迁移转化为结构化、区域感知生成过程的统一扩散框架。不同于传统基于颜色的方法，ColourCrafter 在潜在空间中对 RGB 颜色 token 与图像 token 进行 token 级融合， selectively 将颜色信息传递给语义相关区域，同时保持结构保真。此外，我们构建了一个包含高质量图像对的大型数据集，包含连续且多样化的颜色变化。广泛的实验表明，ColourCrafter 在细粒度颜色编辑中实现了最佳的颜色精度、可控性和感知保真度。我们的项目地址为 https://yangyuqi317.github.io/ColourCrafter.github.io/。