基于可微多模态学习的3D物体定位
系统与控制
2023-09-07 v1 计算机视觉与模式识别
机器学习
机器人学
系统与控制
摘要
本文描述了一种多模态方法，通过光线追踪模拟激光雷达（Lidar）数据，并结合可微渲染的图像像素损失，来优化计算机图形学场景中物体相对于观察者或某些参考物体的位置。物体位置优化采用梯度下降完成，其损失函数受两种模态共同影响。典型的物体放置优化仅使用可微渲染的图像像素损失，本工作表明使用第二种模态（Lidar）可带来更快的收敛。这种融合传感器输入的方法对自动驾驶车辆具有潜在用途，因为这些方法可用于确定场景中多个参与者的位置。本文还提出了一种模拟多种类型数据的方法，可用于自动驾驶车辆的训练。
引用
@article{arxiv.2309.03177,
title = {3D Object Positioning Using Differentiable Multimodal Learning},
author = {Sean Zanyk-McLean and Krishna Kumar and Paul Navratil},
journal= {arXiv preprint arXiv:2309.03177},
year = {2023}
}
备注
7 pages, 8 figures