Elite360M：基于双投影融合与跨任务协作的高效 360 多任务学习

360 相机以大视场捕获整个周围环境，展现全方位视觉信息，可直接推断 3D 结构（如深度和表面法线）和语义信息。现有工作多仅专注单一任务，3D 几何与语义的多任务学习尚未得到探索。实现此目标面临挑战：1) 平面等距矩形投影（ERP）固有的球面畸变以及 360 图像超大视场导致的感知不足；2) 在不同任务之间有效融合几何与语义信息以实现相互收益的难度。本文提出一种新型端到端多任务学习框架 Elite360M， capable of 通过深度和表面法线估计推断 3D 结构，通过语义分割推断语义信息。我们的核心思想是构建具备强全局感知且畸变更小的表示，同时探索几何与语义信息之间的交叉与跨任务关系。我们引入无畸变且在空间上连续的二十面体投影（ICOSAP）点，并将其与 ERP 结合以增强全局感知。以最小成本设计了双投影双注意力融合模块，以捕获区域感知 ERP 特征与 ICOSAP 点特征集之间的语义和距离依赖关系。此外，我们提出新颖的跨任务协作模块，显式地从学习到的表示中提取任务特定的几何和语义信息以实现初步预测，然后整合任务之间的空间上下文信息以实现跨任务融合。大量实验表明，Elite360M 的有效性和实用性得到了充分验证。