用PyTorch3D加速三维深度学习
计算机视觉与模式识别
2020-07-17 v1 图形学
机器学习
摘要
深度学习已显著改进了2D图像识别。向3D拓展可能推动诸多新应用,包括自动驾驶车辆、虚拟与增强现实、创作3D内容,甚至改进2D识别。然而尽管兴趣渐增,3D深度学习仍相对未被充分探索。我们认为这种差距部分源于3D深度学习涉及的工程挑战,例如高效处理异构数据以及将图形操作重构为可微分形式。我们通过引入PyTorch3D来解决这些挑战,这是一个用于3D深度学习的模块化、高效且可微分的算子库。它包含针对网格和点云的快速、模块化可微分渲染器,支持分析-综合方法。与其他可微分渲染器相比,PyTorch3D更具模块化和高效性,使用户更易扩展,同时能优雅地扩展到大型网格与图像。我们将PyTorch3D的算子和渲染器与其他实现进行比较,展示了显著的速度与内存改进。我们还使用PyTorch3D在ShapeNet上改进了从2D图像进行无监督3D网格和点云预测的当前最优水平。PyTorch3D是开源的,我们希望它能助力加速3D深度学习的研究。
引用
@article{arxiv.2007.08501,
title = {Accelerating 3D Deep Learning with PyTorch3D},
author = {Nikhila Ravi and Jeremy Reizenstein and David Novotny and Taylor Gordon and Wan-Yen Lo and Justin Johnson and Georgia Gkioxari},
journal= {arXiv preprint arXiv:2007.08501},
year = {2020}
}
备注
tech report