Uni-Animator：面向统一视觉色彩化的框架

我们提出了 Uni-Animator，一个新颖的基于扩散 Transformer (DiT) 的框架，用于统一图像和视频草图上色。现有草图上色方法难以统一图像和视频任务，导致颜色传递不精确（单参考或多参考均存在问题）、难以保留高频物理细节、在大位移场景下时间一致性受损。为解决颜色传递不精确的问题，我们引入通过实例补丁嵌入实现的视觉参考增强，实现颜色信息的精准对齐与融合。为解决物理细节不足的问题，我们设计了基于物理特征的细节强化机制，有效捕获并保留高频纹理。为缓解运动引起的时间不一致性，我们提出基于草图的动态 RoPE 编码，自适应建模运动感知的时空依赖性。大量实验结果表明，Uni-Animator 在图像和视频草图上色任务上均取得竞争成绩，既匹配特定任务方法的性能，又实现跨域统一能力，保证细节保真度和稳健的时间一致性。