ToonComposer：通过生成式后关键帧化简化卡通制作

传统卡通和动漫制作涉及关键帧、inbetweening 和上色阶段，这些阶段需要大量手动工作。尽管近期进展显著，现有方法常常将这些阶段单独处理，导致误差累积和制件。例如，inbetweening 方法在处理大位移时难题，而上色方法需要稠密的单帧草图。为此，我们引入 ToonComposer，一个统一 inbetweening 和上色为单个 post-keyframing 阶段的生成模型。ToonComposer 采用稀疏草图注入机制以 keyframe 草图提供精确控制。此外，它使用空间低秩适配器方法，将现代视频基础模型针对卡通领域进行适配，同时保持其时序先验。只需一个草图和一个彩色参考帧，ToonComposer 在稀疏输入下表现优异，同时支持在任意时间位置使用多个草图以获得更精确的运动控制。这种双重功能减少了手动工作量并提高了灵活性，赋能了现实场景中的艺术家。在评估我们的模型方面，我们进一步创建了 PKBench，一个包含人类绘制草图以模拟真实使用情景的基准数据集。我们的评估表明，ToonComposer 在视觉质量、运动一致性和生产效率方面均优于现有方法，提供了更优越且更灵活的 AI 辅助卡通制作解决方案。