ILDiff：通过隐式布局蒸馏生成透明动画贴纸
计算机视觉与模式识别
2024-12-31 v1 人工智能
摘要
高质量的动画贴纸通常包含透明通道，而当前视频生成模型往往忽略这一点。为了生成细粒度的透明动画通道，现有方法可大致分为视频 matting 算法和扩散模型算法。基于视频 matting 的方法在处理贴纸的半开放区域时性能较差，而扩散模型方法常用于单张图像建模，导致动画贴纸建模时出现局部闪烁。本文首先提出 ILDiff 方法，通过隐式布局蒸馏生成动画透明通道，从而解决半开放区域坍缩和现有方法未考虑时序信息的问题。其次，我们创建了透明动画贴纸数据集（TASD），包含 0.32M 高质量样本，提供透明通道，以支持相关领域的工作。广泛的实验表明，ILDiff 能产生比 Matting Anything 和 Layer Diffusion 等其他方法更细致、更光滑的透明通道。我们的代码和数据集将在链接 https://xiaoyuan1996.github.io 发布。
关键词
引用
@article{arxiv.2412.20901,
title = {ILDiff: Generate Transparent Animated Stickers by Implicit Layout Distillation},
author = {Ting Zhang and Zhiqiang Yuan and Yeshuang Zhu and Jinchao Zhang},
journal= {arXiv preprint arXiv:2412.20901},
year = {2024}
}