电池、相机、开拍！学习用于富有表现力的机器人电影摄影的语义控制空间
计算机视觉与模式识别
2021-04-02 v2 人工智能
图形学
人机交互
机器人学
摘要
飞行器正通过组合新颖的空中与动态视角，彻底改变电影制作人捕捉演员镜头的方式。然而，尽管自主飞行技术取得了巨大进步，生成富有表现力的相机行为仍是一项挑战，且需要非技术用户编辑大量不直观的控制参数。在这项工作中，我们开发了一个数据驱动框架，能够在语义空间（例如平静、愉悦、建立镜头）中编辑这些复杂的相机定位参数。首先，我们在照片级真实感模拟器中生成包含多样化镜头范围的视频片段数据库，并在众包框架中使用数百名参与者为每段片段的一组语义描述符获取评分。接下来，我们分析描述符之间的相关性，并基于电影摄影准则与人类感知研究构建语义控制空间。最后，我们学习了一个生成模型，可将一组期望的语义视频描述符映射为底层相机轨迹参数。我们通过展示模型成功生成被参与者评为具有每个描述符预期表现程度的镜头来评估系统。我们还表明，我们的模型在模拟和真实世界实验中均能泛化到不同场景。数据与视频见：https://sites.google.com/view/robotcam。
引用
@article{arxiv.2011.10118,
title = {Batteries, camera, action! Learning a semantic control space for expressive robot cinematography},
author = {Rogerio Bonatti and Arthur Bucker and Sebastian Scherer and Mustafa Mukadam and Jessica Hodgins},
journal= {arXiv preprint arXiv:2011.10118},
year = {2021}
}