InstructDubber：基于指令的零样本电影配音对齐方法
摘要
电影配音旨在从给定脚本中合成语音，并使用特定语音，同时确保与角色视觉表演的 accurate lip synchronization 和 emotion-prosody alignment。然而，现有基于视觉特征的对齐方法面临两个关键局限：(1) 依赖复杂的人工制作视觉预处理流程，包括面部关键点检测和特征提取；(2) 对未见视觉领域的泛化性差，常导致对齐和配音质量下降。为此，我们提出 InstructDubber，一种 novel instruction-based alignment dubbing 方法，适用于 robust in-domain 和 zero-shot 电影配音。具体而言，我们首先将视频、脚本及相应提示输入到多模态大语言模型中，以生成关于视频中 speaking rate 和 emotion state 的 natural language dubbing instructions，这种方法对视觉领域变异具有鲁棒性。其次，我们设计 an instructed duration distilling 模块，从 speaking rate instructions 中挖掘 discriminative duration cues，以预测 lip-aligned phoneme-level pronunciation duration。最后，对于 emotion-prosody alignment，我们构建 an instructed emotion calibrating 模块，使用 ground truth dubbing emotion 作为监督微调 LLM-based instruction analyzer，并基于校准后的 emotion analysis 预测 prosody。最后，预测的 duration 和 prosody 以及脚本一起输入音频解码器，以生成 video-aligned dubbing。在三个主要基准数据集上的大量实验表明，InstructDubber 在 both in-domain 和 zero-shot 场景中均优于 state-of-the-art 方法。
引用
@article{arxiv.2512.17154,
title = {InstructDubber: Instruction-based Alignment for Zero-shot Movie Dubbing},
author = {Zhedong Zhang and Liang Li and Gaoxiang Cong and Chunshan Liu and Yuhan Gao and Xiaowan Wang and Tao Gu and Yuankai Qi},
journal= {arXiv preprint arXiv:2512.17154},
year = {2025}
}
备注
Accepted by AAAI2026