Neural-Sim：利用 NeRF 学习生成训练数据
计算机视觉与模式识别
2022-07-26 v1
摘要
训练计算机视觉模型通常需要在多样化的场景配置和属性下收集并标注大量图像。这一过程极其耗时，且很难确保所捕获的数据分布能良好映射到应用场景的目标域。近来，合成数据已成为解决这两个问题的一种途径。然而，现有方法要么需要人类专家手动调节每个场景属性，要么使用几乎不提供控制的自动方法；这需要渲染大量随机数据变体，速度慢且常对目标域而言次优。我们提出了首个完全可微的合成数据流水线，其在闭环中使用神经辐射场（Neural Radiance Fields, NeRFs）与目标应用的损失函数。我们的方法按需生成数据，无需人力，以最大化目标任务的精度。我们在合成和真实世界目标检测任务上展示了方法的有效性。我们还引入了一个新的“YCB-in-the-Wild”数据集和基准，为真实环境中姿态多变的目标检测提供了测试场景。
引用
@article{arxiv.2207.11368,
title = {Neural-Sim: Learning to Generate Training Data with NeRF},
author = {Yunhao Ge and Harkirat Behl and Jiashu Xu and Suriya Gunasekar and Neel Joshi and Yale Song and Xin Wang and Laurent Itti and Vibhav Vineet},
journal= {arXiv preprint arXiv:2207.11368},
year = {2022}
}
备注
ECCV 2022