FocusedAD：面向角色导向的电影音频描述
计算机视觉与模式识别
2025-05-13 v3
摘要
电影音频描述(AD)旨在在无对话的场景中为视觉内容作叙述，尤其惠及盲人和视力受损(BVI)受众。与通用视频标题生成相比，AD要求具有明确角色名称指代的情节相关叙述，带来独特挑战。为识别活跃主角并聚焦情节相关区域，我们提出FocusedAD框架，实现角色导向电影音频描述。框架包含：(i)角色感知模块(CPM)，用于跟踪角色区域并关联角色名称；(ii)动态先验模块(DPM)，通过可学习的软提示注入先前AD内容和字幕的上下文线索；(iii)聚焦描述模块(FCM)，生成包含情节相关细节和命名角色的叙述。为克服角色识别限制，我们还引入自动化管道构建角色查询库。FocusedAD在多个基准测试上实现状态-of-the-art性能，包括在MAD-eval-Named及我们新提出的Cinepile-AD数据集上的强zero-shot结果。代码与数据将发布于https://github.com/Thorin215/FocusedAD。
引用
@article{arxiv.2504.12157,
title = {FocusedAD: Character-centric Movie Audio Description},
author = {Xiaojun Ye and Chun Wang and Yiren Song and Sheng Zhou and Liangcheng Li and Jiajun Bu},
journal= {arXiv preprint arXiv:2504.12157},
year = {2025}
}
备注
Code and Demo link: https://github.com/Thorin215/FocusedAD