基于立体视觉的 3D 异常物体检测：新数据集与基线
计算机视觉与模式识别
2025-08-20 v2
摘要
3D 检测技术在自动驾驶领域得到广泛应用，其应用场景正从封闭式高速公路逐步扩展到开放式普通道路。对于出现在道路上的罕见异常类别，训练于封闭集合的 3D 检测模型常会误检或无法检测异常物体。为此，需要增强 3D 检测模型对任意形状目标的泛化能力，并具备过滤异常物体的能力。3D 检测的泛化性受到两个因素的限制：2D 和 3D 的耦合训练，以及训练样本尺度分布的不足。本文提出一种基于立体视觉的 3D 异常物体检测算法 (S3AD)，该算法解耦了 3D 和 2D 的训练策略，从而释放了对任意 3D 前景检测的泛化能力，并提出一种基于前景置信度预测的异常评分算法，实现目标级别的异常评分。为进一步验证和提升异常检测的泛化性，我们采用 3D 渲染方法合成两个增强现实立体 3D 检测数据集，命名为 KITTI-AR。KITTI-AR 在 KITTI 基础上添加了 97 个新类别，总计 6000 对立体图像。KITTI-AR-ExD 子集包括 39 个常见类别作为额外训练数据，以解决稀疏样本分布问题。此外，58 个罕见类别组成 KITTI-AR-OoD 子集，这些类别在训练时未使用，用于模拟真实世界中的零样本场景，仅用于评估 3D 异常检测。最终在实验中验证了该算法和数据集的性能。（代码和数据集可在 https://github.com/shiyi-mu/S3AD-Code 获取）
引用
@article{arxiv.2507.09214,
title = {Stereo-based 3D Anomaly Object Detection for Autonomous Driving: A New Dataset and Baseline},
author = {Shiyi Mu and Zichong Gu and Hanqi Lyu and Yilin Gao and Shugong Xu},
journal= {arXiv preprint arXiv:2507.09214},
year = {2025}
}
备注
under review