中文

MCSC-Bench:用于真实视频制作的多模态 Context-to-Script 创建

化学物理 2026-04-17 v1

摘要

真实世界的视频创建通常涉及从噪声材料中选择相关镜头、为叙事完整性规划缺失镜头以及将其组织成连贯的叙事流程。然而,现有的基准测试仅关注孤立的子任务,不支持评估这一完整过程。为填补这一差距,我们提出了多模态 Context-to-Script 创建 (MCSC) 新任务,将噪声多模态输入和用户指令转换为结构化、可执行的视频脚本。我们进一步引入了 MCSC-Bench,首个大型 MCSC 数据集,包含 11K+ 经过精细标注的视频。每个样本包括:(1) 冗余的多模态材料和用户指令;(2) 包含基于材料的镜头、新规划的镜头(带拍摄指令)以及与镜头对齐的语音稿的连贯、可生产的脚本。MCSC-Bench 支持材料选择、叙事规划和条件化脚本生成的全面评估,并包括内域和外域测试集。实验表明,当前的多模态 LLM 在长上下文中结构感知推理方面困难,这凸显了本基准测试所提出的挑战。在 MCSC-Bench 上训练的模型实现了 SOTA 水平,8B 模型超越 Gemini-2.5-Pro,并能对外域场景实现泛化。进一步的下游视频生成由生成的脚本引导,进一步验证了 MCSC 的实际价值。数据集将很快公开。

关键词

引用

@article{arxiv.2604.15126,
  title  = {Toward Accurate RIXS Spectra at Heavy Element Edges: A Relativistic Four-Component and Exact Two-Component TDDFT Approach},
  author = {Lukas Konecny and Muhammed A. Dada and Daniel R. Nascimento and Michal Repisky},
  journal= {arXiv preprint arXiv:2604.15126},
  year   = {2026}
}