Aether Weaver：基于动态场景图的多模态情感叙事共生
计算机视觉与模式识别
2025-08-06 v2
摘要
我们提出 Aether Weaver，一种新型集成框架，用于多模态叙事共生，克服了顺序文本到视觉管道的局限性。该系统同时合成文本叙事、动态场景图表示、视觉场景和情感音景，由紧密集成的共生机制驱动。其核心是 Narrator，一个大语言模型，生成叙事文本和多模态提示；Director 充当动态场景图管理器，分析文本构建和维护故事世界的结构化表示，确保视觉渲染和后续叙事生成的时空一致性和关系一致性。此外，叙事弧控制器指导高层次故事结构，影响多模态情感一致性，由情感语调映射器进一步补充，确保跨模态情感表达的一致性。通过对多样化叙事提示进行定性评估（涵盖 various genres），我们展示 Aether Weaver 在叙事深度、视觉保真度和情感共鸣方面显著优于级联基线方法。该集成框架为快速创意原型设计和沉浸式叙事体验提供了稳健平台。
引用
@article{arxiv.2507.21893,
title = {Aether Weaver: Multimodal Affective Narrative Co-Generation with Dynamic Scene Graphs},
author = {Saeed Ghorbani},
journal= {arXiv preprint arXiv:2507.21893},
year = {2025}
}