以角色为中心的动画电影理解
计算机视觉与模式识别
2025-09-16 v1
摘要
动画电影以其独特的角色设计与充满想象力的故事讲述而引人入胜，但也对现有识别系统提出了重大挑战。与传统人脸识别方法检测到的一致视觉模式不同，动画角色在外观、运动与变形方面表现出极大的多样性。在本工作中，我们提出一个视听流水线，以实现自动且鲁棒的动画角色识别，从而增强对动画电影的以角色为中心的理解。我们方法的核心是从在线资源自动构建视听角色库。该库包含每个角色的视觉样本与语音（音频）样本，使得后续的多模态角色识别能够克服长尾外观分布的问题。在准确识别角色的基础上，我们探索了两个下游应用：面向视障受众的音频描述（AD）生成，以及面向听障受众的角色感知字幕生成。为支持该领域的研究，我们引入了CMD-AM，一个包含75部动画电影并带有全面标注的新数据集。与以往基于人脸检测的方法相比，我们以角色为中心的流水线在动画内容的可访问性与叙事理解方面均展现出显著提升。代码与数据集请访问 https://www.robots.ox.ac.uk/~vgg/research/animated_ad/。
引用
@article{arxiv.2509.12204,
title = {Character-Centric Understanding of Animated Movies},
author = {Zhongrui Gui and Junyu Xie and Tengda Han and Weidi Xie and Andrew Zisserman},
journal= {arXiv preprint arXiv:2509.12204},
year = {2025}
}