AutoDirector：用于多感官构图的在线自动调度智能体
计算机视觉与模式识别
2024-08-22 v1
摘要
随着生成模型的发展，音乐、视觉元素和语音等不同感官元素的合成已实现显著的逼真度。然而，针对多感官输出的生成方法尚未得到充分探索，这限制了其在电影导演等高价值场景中的应用。开发电影导演智能体面临两个主要挑战：（1）缺乏并行性和在线调度的生产步骤：在多感官电影制作中，不同感官元素之间存在复杂的依赖关系，且每个元素的生产时间各异。（2）用户需求多样且沟通需求明确：用户往往在看到初稿之前无法清晰表达需求，这需要人机交互和迭代，不断根据用户反馈调整和优化电影内容。为此，我们引入AutoDirector——一个支持长镜头、特效、配乐、配音及唇同步的交互式多感官构图框架。该框架通过自动调度提高了多感官电影制作的效率，并支持交互式任务的修改和改进，以满足用户需求。AutoDirector不仅拓展了人机协作的应用范围，还展示了AI在担任电影导演角色完成多感官电影制作方面的潜力。
引用
@article{arxiv.2408.11564,
title = {AutoDirector: Online Auto-scheduling Agents for Multi-sensory Composition},
author = {Minheng Ni and Chenfei Wu and Huaying Yuan and Zhengyuan Yang and Ming Gong and Lijuan Wang and Zicheng Liu and Wangmeng Zuo and Nan Duan},
journal= {arXiv preprint arXiv:2408.11564},
year = {2024}
}