迈向单芯片雷达的基础模型

毫米波雷达是紧凑、廉价且耐用的传感器，能够抵御遮挡并在天气和黑暗等任何环境条件下工作。然而，这是以较差的角度分辨率为代价的，特别是对于通常用于汽车和室内感知应用的廉价单芯片雷达。尽管许多人提出了基于学习的方法来缓解这一弱点，但尚未出现用于毫米波雷达的标准化基础模型或大型数据集，从业者很大程度上使用相对较小的数据集从头训练特定任务模型。在本文中，我们收集了（据我们所知）目前可用的最大的原始雷达数据集，包含 1M 个样本（29 小时），并训练了一个用于 4D 单芯片雷达的基础模型，该模型能够预测 3D 占用和语义分割，其质量通常只有分辨率高得多的传感器才能达到。我们证明了我们的可泛化雷达 Transformer (GRT) 在不同设置下具有泛化能力，可以针对不同任务进行微调，并表现出每 $10\times$ 数据增加 20% 的对数数据缩放。我们还对常见的设计决策进行了广泛的消融实验，发现使用原始雷达数据显著优于广泛使用的有损表示，相当于训练数据增加了 $10\times$。最后，我们粗略估计需要约 100M 个样本（3000 小时）的数据才能充分发挥 GRT 的潜力。