基于语义高斯溅射的相机轨迹生成
机器人学
2024-10-10 v1 人工智能
计算机视觉与模式识别
机器学习
摘要
近期许多研究聚焦于机器人表示环境，致力于实现逼真的重建。本文特别关注生成与用户输入的语言指令匹配的图像序列，这些图像来自逼真的高斯溅射模型。我们贡献了一个新框架SplaTraj，将环境表示中图像的生成形式化为连续时间轨迹优化问题。设计成本，使得相机遵循轨迹姿态将平滑地穿越环境并以逼真的方式渲染指定的空间信息。通过查询逼真的表示与语言嵌入来隔离对应于用户指定输入的区域。然后将这些区域投影到相机的视图中随时间移动，并构建成本。我们可以应用梯度优化并通过渲染进行微分，以优化为定义成本而优化的轨迹。 resulting trajectory moves to photogenically view each of the specified objects. 我们在一套环境和指令上进行了经验评估，展示了生成图像序列的质量。
引用
@article{arxiv.2410.06014,
title = {SplaTraj: Camera Trajectory Generation with Semantic Gaussian Splatting},
author = {Xinyi Liu and Tianyi Zhang and Matthew Johnson-Roberson and Weiming Zhi},
journal= {arXiv preprint arXiv:2410.06014},
year = {2024}
}