基于特征扭曲引导的多任务平面重建

逐片平面三维重建从单幅图像中同时分割平面实例并恢复其三维平面参数，这对于室内或人造环境尤为有用。高效重建三维平面并结合语义预测，为需要场景理解与同步空间建图的广泛应用带来优势。然而，大多数现有平面重建模型要么忽略语义预测，要么运行效率不足以满足实时应用。我们提出 SOLOPlanes，一种基于改进实例分割架构的实时平面重建模型，其同时预测每个平面实例的语义、平面参数与逐片平面实例掩码。我们通过在训练过程中引入平面预测的多视图引导，提升了实例掩码分割效果。这种跨任务改进——为平面预测训练却提升掩码分割——源于多任务学习中特征共享的本质。我们的模型在推理时仅用单幅图像同时预测语义，并以 43 FPS 实现实时预测。