Cobra：基于更广参考图像的高效线稿上色
计算机视觉与模式识别
2025-05-07 v3
摘要
漫画制作行业需要具备高精度、高效率、上下文一致性及灵活控制能力的基于参考图像的线稿上色技术。漫画页面通常包含多样的角色、物体和背景，这使得上色过程复杂化。尽管扩散模型在图像生成方面取得了进展，但其在线稿上色中的应用仍然有限，面临处理大量参考图像、推理耗时及灵活控制方面的挑战。我们研究了广泛的上下文图像引导对线稿上色质量的必要性。为了解决这些挑战，我们引入了 Cobra，一种高效且通用的方法，该方法支持颜色提示并可在保持低延迟的同时利用超过 200 张参考图像。Cobra 的核心是 Causal Sparse DiT 架构，该架构利用专门设计的 positional encodings、causal sparse attention 和 Key-Value Cache 来有效管理长上下文参考并确保颜色身份一致性。结果表明，Cobra 通过广泛的上下文参考实现了精确的线稿上色，显著提升了推理速度和交互性，从而满足了关键的工业需求。我们在项目页面发布了代码和模型：https://zhuang2002.github.io/Cobra/。
引用
@article{arxiv.2504.12240,
title = {Cobra: Efficient Line Art COlorization with BRoAder References},
author = {Junhao Zhuang and Lingen Li and Xuan Ju and Zhaoyang Zhang and Chun Yuan and Ying Shan},
journal= {arXiv preprint arXiv:2504.12240},
year = {2025}
}
备注
Project page with code: https://zhuang2002.github.io/Cobra/