中文

基础模型能否可靠识别空间危险?——基于路缘分割的案例研究

计算机视觉与模式识别 2024-06-12 v1

摘要

路缘作为关键边界,划定了安全的行人区域与潜在的车辆交通危险区域。在动态导航中,路缘也是一种主要的空间危险,具有显著的绊倒风险。对于盲人和低视力者(PBLV),此类脆弱性尤为加剧。基于视觉的准确路缘识别对于辅助 PBLV 在城市环境中安全导航的辅助技术至关重要。在此,我们研究了基础模型在路缘分割中的效能。我们引入了迄今为止最大的路缘分割数据集,以基准测试领先的基础模型。我们的结果表明,最先进的基础模型在路缘分割方面面临重大挑战。这是由于它们的高误报率(高达 95%),在区分路缘与类路缘物体或非路缘区域(如人行道)方面表现不佳。此外,性能最佳的模型平均推理时间为 3.70 秒,凸显了在提供实时辅助方面的问题。作为回应,我们提出了包括过滤边界框选择在内的解决方案,以实现更准确的路缘分割。总体而言,尽管基础模型具有直接的灵活性,但其在实用辅助技术应用中的部署仍需改进。本研究强调了专用数据集和定制模型训练对于解决 PBLV 导航挑战的关键需求,并揭示了基础模型的内在弱点。

关键词

引用

@article{arxiv.2406.07202,
  title  = {Can Foundation Models Reliably Identify Spatial Hazards? A Case Study on Curb Segmentation},
  author = {Diwei Sheng and Giles Hamilton-Fletcher and Mahya Beheshti and Chen Feng and John-Ross Rizzo},
  journal= {arXiv preprint arXiv:2406.07202},
  year   = {2024}
}

备注

21 pages, 8 figures, submitted to Assistive Technology