InstanceAnimator：多实例草图视频上色
计算机视觉与模式识别
2026-03-27 v1
摘要
我们提出InstanceAnimator，这是一种用于多实例草图视频上色的新型扩散变换器框架。现有方法存在三个核心局限性：由于过度依赖单参考帧，导致用户控制不够灵活；实例可控性差，在多角色场景中引发错位；以及在细粒度区域的细节保真度下降。为解决这些挑战，我们引入了三个相应的创新。首先，Canvas Guidance Condition通过允许自由放置参考元素和背景，消除了工作流程的碎片化，实现了前所未有的灵活性。其次，Instance Matching机制通过整合实例特征与草图，解决了错位问题，确保了对多个角色的精确控制。第三，自适应解耦控制模块通过注入角色、背景和文本条件的语义特征到扩散过程中，提升了细节保真度。大量实验表明，InstanceAnimator在实现卓越的多实例上色、增强的用户控制、高质量视觉效果和强实例一致性方面取得了优异成绩。
引用
@article{arxiv.2603.25357,
title = {InstanceAnimator: Multi-Instance Sketch Video Colorization},
author = {Yinhan Zhang and Yue Ma and Bingyuan Wang and Kunyu Feng and Yeying Jin and Qifeng Chen and Anyi Rao and Zeyu Wang},
journal= {arXiv preprint arXiv:2603.25357},
year = {2026}
}