ChatCam: 通过对话式AI 实现相机控制

导演熟练地捕捉世界的精髓，通过复杂的摄像机运动构建引人入胜的叙事。见证了大型语言模型在感知和交互3D 世界方面的飞速进步后，本研究探索了其在人类语言指导下控制摄像机的能力。我们引入ChatCam，一个通过与用户对话来导航摄像机运动的系统，模仿专业导演的工作流程。为实现此目标，我们提出了CineGPT，一个基于GPT的自回归模型，用于文本条件下的摄像机轨迹生成。我们还开发了一个锚点确定器，以确保摄像机轨迹的精确放置。ChatCam 理解用户请求并利用我们提出的工具生成轨迹，这些轨迹可用于渲染 radiance field 表示上的高质量视频。我们的实验包括与最先进方法的比较和用户研究，表明我们的方法能够解释和执行复杂的摄像机操作指令，显示出在实际生产环境中的前景应用。