FoleyDesigner：用于电影片段的沉浸式立体声Foley生成与精确时空对齐
计算机视觉与模式识别
2026-04-08 v1
摘要
Foley艺术在增强电影沉浸式听觉体验中起着关键作用，但手动创建时空对齐的音频仍然劳动密集。我们提出了FoleyDesigner，一个受专业Foley工作流程启发的新型框架，集成了电影片段分析、可时空控制的Foley生成和专业音频混音能力。FoleyDesigner采用多智能体架构进行精确的时空分析。它通过从视频帧中提取的时空线索训练的潜在扩散模型，结合大型语言模型（LLM）驱动的混合机制来模拟电影行业的后期制作实践，实现时空对齐。为解决电影领域高质量立体声数据集的缺乏，我们引入了FilmStereo——首个包含空间元数据、精确时间戳和八种常见Foley类别语义标注的专业立体声数据集。在应用方面，该框架支持交互式用户控制，同时保持与专业流程的无缝集成，包括符合ITU-R BS.775标准的5.1声道Dolby Atmos系统，从而提供广泛的创作灵活性。大量实验表明，我们的方法相比现有基线实现了优越的时空对齐，并与专业电影制作标准保持无缝兼容。项目页面位于 https://gekiii996.github.io/FoleyDesigner/ 。
引用
@article{arxiv.2604.05731,
title = {FoleyDesigner: Immersive Stereo Foley Generation with Precise Spatio-Temporal Alignment for Film Clips},
author = {Mengtian Li and Kunyan Dai and Yi Ding and Ruobing Ni and Ying Zhang and Wenwu Wang and Zhifeng Xie},
journal= {arXiv preprint arXiv:2604.05731},
year = {2026}
}