资产收割机：从自动驾驶日志中提取用于仿真的3D资产
计算机视觉与模式识别
2026-04-21 v1 人工智能
图形学
机器学习
摘要
封闭环仿真是自动驾驶车辆（AV）开发的核心组件，使其在实际部署前能够进行可扩展的测试、训练和安全验证。神经场景重建将驾驶日志转换为用于仿真的交互式3D环境，但并未产生用于智能体操作和大视角新视角合成所需的完整3D物体资产。为解决这一挑战，我们提出了资产收割机（Asset Harvester），一种从稀疏野生物体观察中转换为完整仿真就绪资产的图像到3D模型和端到端管道。与依赖单一模型组件不同，我们为现实AV数据开发了系统级设计，结合大规模物体中心训练元组的精选、跨异构传感器的几何感知预处理，以及耦合稀疏视图条件多视角生成与3D高斯提升的稳健训练配方。在该系统中，稀疏视图DiT（SparseViewDiT）专为解决有限角度视角和其他现实数据挑战而设计。结合混合数据精选、增强和自蒸馏，该系统实现了将稀疏AV物体观察转换为可重用的3D资产的可扩展转换。
引用
@article{arxiv.2604.18468,
title = {Asset Harvester: Extracting 3D Assets from Autonomous Driving Logs for Simulation},
author = {Tianshi Cao and Jiawei Ren and Yuxuan Zhang and Jaewoo Seo and Jiahui Huang and Shikhar Solanki and Haotian Zhang and Mingfei Guo and Haithem Turki and Muxingzi Li and Yue Zhu and Sipeng Zhang and Zan Gojcic and Sanja Fidler and Kangxue Yin},
journal= {arXiv preprint arXiv:2604.18468},
year = {2026}
}
备注
NVIDIA white paper. The project page: https://research.nvidia.com/labs/sil/projects/asset-harvester/