基于大规模数据集的实例引导卡通编辑
计算机视觉与模式识别
2023-12-05 v1 图形学
摘要
卡通编辑受到专业插画师和爱好者的赞赏，它允许在卡通领域内进行广泛的创意自由和原创叙事的开发。然而，由于自动识别单个角色实例的挑战，现有的卡通编辑文献较为复杂且严重依赖手动操作。因此，对这些元素的自动分割成为促进各种卡通编辑应用（如视觉风格编辑、动作分解与迁移，以及为丰富视觉体验而进行的立体深度计算）的必要条件。遗憾的是，目前大多数分割方法是为自然照片设计的，无法识别卡通主体错综复杂的美学特征，从而降低了分割质量。主要挑战源于两个关键缺陷：缺乏高质量的卡通专用数据集，以及缺乏用于对卡通进行高分辨率实例提取的胜任模型。为了解决这一问题，我们引入了一个包含超过 10 万张配对高分辨率卡通图像及其实例标注掩码的高质量数据集。我们还提出了一个实例感知图像分割模型，该模型能够为卡通图像中的角色生成准确的高分辨率分割掩码。我们展示了所提出的方法支持一系列依赖于分割的卡通编辑应用，如 3D Ken Burns 视差效果、文本引导的卡通风格编辑，以及由插画和漫画生成的木偶动画。
引用
@article{arxiv.2312.01943,
title = {Instance-guided Cartoon Editing with a Large-scale Dataset},
author = {Jian Lin and Chengze Li and Xueting Liu and Zhongping Ge},
journal= {arXiv preprint arXiv:2312.01943},
year = {2023}
}
备注
Project page: https://cartoonsegmentation.github.io/ 10 pages, 10 figures