例外轨迹：基于角色意识的字符到摄像机轨迹生成

电影中的情节与情感通过精心设计的导演决策——特别是相机在时间上的位置与运动——来实现。尽管有经验丰富的艺术家，构思引人入胜的摄像机轨迹仍是一个复杂且迭代的过程。为此，本文提出了一个名为“例外轨迹”(Exceptional Trajectories, E.T.) 的数据集，包含沿角色信息和文本描述的摄像机轨迹，涵盖了关于相机与角色的描述。据我们了解，这是首个此类数据集。为展示 E.T. 数据集的潜在应用，本文提出了基于扩散模型的方法，命名为 DIRECTOR，该方法可从描述相机与角色关系及同步性的文本描述生成复杂的摄像机轨迹。为确保鲁棒且准确的评估，我们在 E.T. 数据集上训练了 CLaTr——一种用于评估指标的对比语言-轨迹嵌入。我们认为，所提出的数据集和方法显著推动了电影摄影的民主化，使其更易于普通用户获取。