面向自动驾驶汽车的仿真测试与人类感知的匹配程度如何？
软件工程
2024-01-29 v1
摘要
诸如覆盖率和变异分数等软件指标已被广泛探索用于测试套件的自动化质量评估。虽然传统工具依赖于此类可量化的软件指标，但自动驾驶汽车（SDC）领域主要侧重于使用诸如越界（OOB）参数等质量指标进行基于仿真的测试用例生成，以确定测试用例是通过还是失败。然而，目前尚不清楚这种质量指标在多大程度上与人类对SDC安全性和真实性的感知相一致，而这两者是评估SDC行为的关键方面。为了弥补这一差距，我们进行了一项涉及50名参与者的实证研究，以探究决定人类如何将SDC测试用例感知为安全、不安全、真实或不真实的各种因素。为此，我们开发了一个利用虚拟现实（VR）技术的框架，名为SDC-Alabaster，让研究参与者沉浸到SDC模拟器的虚拟环境中。我们的研究结果表明，人类对失败和通过测试用例的安全性和真实性的评估可能因不同因素而异，例如测试的复杂性以及与SDC交互的可能性。特别是在真实性评估方面，参与者的年龄作为一个混杂因素导致了不同的感知。这项研究强调了需要对SDC仿真测试质量指标进行更多研究，并指出了人类感知在评估SDC行为中的重要性。
引用
@article{arxiv.2401.14736,
title = {How does Simulation-based Testing for Self-driving Cars match Human Perception?},
author = {Christian Birchler and Tanzil Kombarabettu Mohammed and Pooja Rani and Teodora Nechita and Timo Kehrer and Sebastiano Panichella},
journal= {arXiv preprint arXiv:2401.14736},
year = {2024}
}