DEMOS：通过局部球面-BEV感知实现3D场景中的动态环境运动合成
计算机视觉与模式识别
2024-03-05 v1
摘要
真实世界3D场景中的运动合成近来备受关注。然而，大多数现有方法所做的静态环境假设通常无法满足，特别是在扫描点云场景中，如果存在多个动态物体（例如移动的人或车辆），则尤其难以满足实时运动合成的要求。为了解决这个问题，我们提出了第一个动态环境运动合成框架（DEMOS），根据当前场景即时预测未来运动，并用于动态更新潜在运动以进行最终运动合成。具体地，我们提出了一种球面-BEV感知方法来提取局部场景特征，这些特征专门设计用于即时场景感知运动预测。然后，我们设计了一种时变运动混合方法，将新预测的运动融合到潜在运动中，最终运动从更新的潜在运动推导得出，同时受益于运动先验和迭代方法。我们统一了两个主流数据集PROX和GTA-IM的数据格式，并将其用于3D场景中的运动合成评估。我们还评估了所提方法在GTA-IM和Semantic3D动态环境中的响应能力。结果表明，我们的方法显著优于先前的工作，并且在处理动态环境方面具有出色的性能。
引用
@article{arxiv.2403.01740,
title = {DEMOS: Dynamic Environment Motion Synthesis in 3D Scenes via Local Spherical-BEV Perception},
author = {Jingyu Gong and Min Wang and Wentao Liu and Chen Qian and Zhizhong Zhang and Yuan Xie and Lizhuang Ma},
journal= {arXiv preprint arXiv:2403.01740},
year = {2024}
}