CAST：利用跟踪自监督的动画角色标注
计算机视觉与模式识别
2022-01-20 v1
摘要
卡通与动画域视频相较于真实图像与视频具有非常不同的特性。此外，该域在风格上承载巨大差异。当前的计算机视觉与深度学习方案常因在自然图像上训练而失败于动画内容。在本文中，我们提出一种精炼适用于特定动画内容的语义表示的方法。我们首先在大规模动画视频集上训练神经网络，并将到深度特征的映射用作嵌入空间。接着，我们通过多目标跟踪收集该风格下动画角色的众多样本，利用自监督来针对任意特定动画风格精炼表示。这些样本被用于定义对比损失训练的三元组。精炼后的语义空间允许更好地聚类动画角色，即便它们具有多样表现形态。利用该空间，我们可在动画视频中构建角色字典，并以极少的用户工作量定义针对特定风格内容（如某特定动画系列中的角色）的专用分类器。这些分类器是动画视频中角色自动标注的基础。我们展示了在多种动画风格下一组角色上的结果。
引用
@article{arxiv.2201.07619,
title = {CAST: Character labeling in Animation using Self-supervision by Tracking},
author = {Oron Nir and Gal Rapoport and Ariel Shamir},
journal= {arXiv preprint arXiv:2201.07619},
year = {2022}
}
备注
Published as a conference paper at EuroGraphics 2022