面向真实电影配音：基于检索增强的导演-演员互动学习

自动电影配音模型从给定脚本生成生动的语音，复制演员的声音特征，同时确保与无声视频的lip-sync。现有方法模拟简化的工作流程，即演员在准备的情况下直接配音，忽视了导演-演员互动的关键作用。相反，真实的工作流程涉及动态协作：导演积极与演员互动，引导他们在表演前内化情境线索，特别是情感。为此，我们提出一种新的检索增强导演-演员互动学习方案，以实现真实电影配音，称为 Authentic-Dubber，其中包含三个新机制：(1) 我们构建多模态参考影像库，以模拟导演提供的学习影像。注意我们整合大语言模型（LLM）以实现对情感表示在多模态信号中的深层理解。(2) 为了模拟演员如何高效、综合地内化导演提供的影像资料，我们提出基于情感相似性的检索增强策略。该策略检索与目标无声视频最相关的多模态信息。(3) 我们开发一种基于渐进图的语音生成方法，逐步整合检索到的多模态情感知识，从而模拟演员最终的配音过程。上述机制使 Authentic-Dubber 能够忠实地复制真实的配音工作流程，在情感表达方面实现全面性改进。在 V2C Animation benchmark 数据集上的主观和客观评估均验证了有效性。代码和演示可在 https://github.com/AI-S2-Lab/Authentic-Dubber 查看。