Gated Syn-to-Real Knowledge for Pedestrian Crossing Prediction in Safe Driving
计算机视觉与模式识别
2024-09-12 v1 机器学习
摘要
驾驶场景中的行人越行预测（PCP）在确保智能车辆安全运行中发挥着关键作用。由于在典型情境下对行人越行行为的观察有限，近期研究开始利用具有灵活变化能力的合成数据来提升预测性能，采用域适应框架。然而，不同域知识具有各自的跨域分布差异，亟需为 PCP 任务设计合适的域知识适应方式。本文提出一种用于 PCP 的 Gated Syn-to-Real Knowledge transfer 方法（Gated-S2R-PCP），其目标包括：1）为不同类型的跨域知识设计合适的域适应方式，2）通过带门控知识融合将适合特定情境的知识迁移。具体而言，我们设计了一个包含风格迁移、分布逼近和知识蒸馏三种域适应方法的框架，用于处理视觉、语义、深度、位置等各种信息。引入可学习的门控单元（LGU）来融合适合的跨域知识以提升行人越行预测性能。我们构建了一个新的合成基准数据集 S2R-PCP-3181，包含 3181 个序列（489,740 帧），其中包含行人位置、RGB 帧、语义图像和深度图像。借助合成 S2R-PCP-3181，我们将知识迁移到 PIE 和 JAAD 两个具有挑战性的真实数据集，获得了相对于当前最先进方法的优异 PCP 性能。
引用
@article{arxiv.2409.06707,
title = {Gating Syn-to-Real Knowledge for Pedestrian Crossing Prediction in Safe Driving},
author = {Jie Bai and Jianwu Fang and Yisheng Lv and Chen Lv and Jianru Xue and Zhengguo Li},
journal= {arXiv preprint arXiv:2409.06707},
year = {2024}
}
备注
under review by TITS