AesopAgent：故事到视频生成的智能体驱动演化系统
计算机视觉与模式识别
2024-03-14 v1 人工智能
多媒体
摘要
智能体和 AIGC（人工智能生成内容）技术近期取得了显著进展。我们提出了 AesopAgent，一个故事到视频生成的智能体驱动演化系统。AesopAgent 是智能体技术在多模态内容生成中的实际应用。该系统在一个统一框架内集成了多种生成能力，使得个人用户可以轻松利用这些模块。这个创新系统会将用户的故事提案转换为脚本、图像和音频，然后将这些多模态内容整合成视频。此外，动画单元（例如 Gen-2 和 Sora）可以使视频更具感染力。AesopAgent 系统可以编排视频生成的任务工作流，确保生成的视频内容既丰富又连贯。该系统主要包含两层，即水平层和实用层。在水平层中，我们引入了一种新颖的基于 RAG 的演化系统，该系统优化了整个视频生成工作流以及工作流内的步骤。它通过积累专家经验和专业知识，包括优化 LLM 提示和实用工具的使用，持续演化并迭代优化工作流。实用层提供多种实用工具，实现一致的图像生成，在构图、角色和风格方面视觉连贯。同时，它提供音频和特效，将它们整合到富有表现力且逻辑编排的视频中。总体而言，与许多先前在视觉叙事方面的工作相比，我们的 AesopAgent 达到了最先进的性能。我们的 AesopAgent 旨在为个体用户提供便捷服务，可在以下页面获取：https://aesopai.github.io/。
引用
@article{arxiv.2403.07952,
title = {AesopAgent: Agent-driven Evolutionary System on Story-to-Video Production},
author = {Jiuniu Wang and Zehua Du and Yuyuan Zhao and Bo Yuan and Kexiang Wang and Jian Liang and Yaxi Zhao and Yihen Lu and Gengliang Li and Junlong Gao and Xin Tu and Zhenyu Guo},
journal= {arXiv preprint arXiv:2403.07952},
year = {2024}
}
备注
22 pages, 13 figures