3DArticCyclists：用于计算机视觉应用的合成可关节8D姿态可控骑车数据生成
计算机视觉与模式识别
2025-03-13 v2 人机交互
摘要
在自动驾驶（AD）感知中，骑行者被视为安全关键场景对象。常用的公开AD数据集通常包含大量汽车和车辆实例，但骑行者实例数量较少，通常具有有限的外观和姿态多样性。这种骑行者训练数据稀缺问题不仅限制了深度学习感知模型在骑行者语义分割、姿态估计和骑行者越线意图预测方面的泛化能力，也限制了针对新骑行者相关任务（如细粒度骑行者姿态估计和在复杂人类与可关节物体之间相互作用下的时空分析）的研究。为此，本文提出了一个框架，用于生成可用于生成训练数据的合成动态3D骑行者数据资产。在我们的框架中，我们设计了一种方法，用于创建我们称之为3DArticBikes的新的基于部件的多视角可关节合成3D自行车数据集，用于训练3D高斯溅出（3DGS）-based重建和图像渲染方法。我们随后提出了参数化3DGS组合模型，用于组装8-DoF姿态可控3D自行车。最后，利用骑行者视频中的动态信息，我们通过重新定位可选的合成3D人，同时自动将骑手放置在我们新的可关节3D自行车上，构建了完整的合成动态3D骑行者（骑行者驾驶自行车），并使用我们提出的3D关键点优化为基于逆运动学的姿态细化。我们呈现了定性和定量结果，其中将我们的生成骑行者与最近基于稳定扩散的方法进行了比较。
引用
@article{arxiv.2410.10782,
title = {3DArticCyclists: Generating Synthetic Articulated 8D Pose-Controllable Cyclist Data for Computer Vision Applications},
author = {Eduardo R. Corral-Soto and Yang Liu and Tongtong Cao and Yuan Ren and Liu Bingbing},
journal= {arXiv preprint arXiv:2410.10782},
year = {2025}
}