面向自动驾驶车辆的32项行人属性检测

行人可以说是城市地区自动驾驶车辆需要考虑的安全性最关键的道路使用者之一。在本文中，我们解决了从单幅图像中联合检测行人和识别32项行人属性的问题。这些属性涵盖视觉外观和行为，并且还包括对过马路的预测，这是一个主要的安全问题。为此，我们引入了一种依赖于复合场框架的多任务学习（MTL）模型，该模型以高效的方式实现这两个目标。每个场在空间上定位行人实例并聚合其上的属性预测。这种表述自然地利用了空间上下文，使其非常适合于诸如自动驾驶之类的低分辨率场景。通过增加联合学习的属性数量，我们凸显了与梯度尺度相关的问题，该问题出现在具有众多任务的 MTL 中。我们通过在反向传播期间不同目标函数的梯度在网络架构的分叉处汇合时对其进行归一化来解决该问题，称为分叉归一化（fork-normalization）。实验验证在 JAAD 上进行，该数据集提供了用于自动驾驶行人分析的众多属性，并展示了具有竞争力的检测和属性识别结果，以及更稳定的 MTL 训练。