人类化机器人占有率：通用多模态占有率感知系统

人形机器人技术正在快速发展，制造商为特定场景引入了多样化的异构视觉感知模块。尽管存在各种感知范式，但基于占有率的表示方法已被广泛认为特别适合人形机器人，因为它提供了用于全面环境理解所必需的丰富语义和3D几何信息。本文提出了Humanoid Occupancy（人形占有率），一个集成硬件和软件组件、数据采集设备以及专门注释管道的通用多模态占有率感知系统。我们的框架采用先进的多模态融合技术生成基于网格的占有率输出，编码占有率状态和语义标签，从而为下游任务（如任务规划和导航）提供全面环境理解。为了解决人形机器人的独特挑战，我们克服了运动学干扰和遮挡问题，建立了有效的传感器布局策略。此外，我们开发了首个专为人形机器人设计的全景占有率数据集，为该领域的未来研究和开发提供了宝贵的基准和资源。该网络架构集成了多模态特征融合和时序信息整合，以确保稳健的感知。总体而言，Humanoid Occupancy为人形机器人提供了有效的环境感知，为标准化通用视觉模块、推动人形机器人在复杂真实场景中的广泛部署奠定了技术基础。