中文

利用惊奇充分性降低深度神经网络标注成本:一项自动驾驶工业案例研究

机器学习 2022-09-15 v2 软件工程

摘要

深度神经网络(DNNs)因其在于自动驾驶至关重要的任务中令人印象深刻的性能,正迅速被汽车工业采用。目标分割就是这样一项任务:其目标是精确定位物体边界并对识别出的物体进行分类,帮助自动驾驶汽车识别道路环境和交通状况。该任务不仅关乎安全关键,而且开发基于 DNN 的目标分割模块所面临的一系列挑战与传统安全关键软件的开发显著不同。所使用的开发流程由数据采集、标注、训练和评估的多次迭代组成。在这些阶段中,训练和评估是计算密集型的,而数据采集和标注是人工劳动密集型的。本文展示了如何利用惊奇充分性(SA)与模型性能之间的相关性来改进基于 DNN 的目标分割的开发。该相关性使我们能够在无需人工标注输入的情况下预测模型性能。这反过来又有助于理解模型性能、更有指导性的数据采集,以及关于进一步训练的明智决策。在我们的工业案例研究中,该技术在可忽略的评估不准确性下实现了高达 50% 的成本节省。此外,工程师可以根据不同的开发阶段和场景,在成本节省与可容忍的不准确性水平之间进行权衡。

关键词

引用

@article{arxiv.2006.00894,
  title  = {Reducing DNN Labelling Cost using Surprise Adequacy: An Industrial Case Study for Autonomous Driving},
  author = {Jinhan Kim and Jeongil Ju and Robert Feldt and Shin Yoo},
  journal= {arXiv preprint arXiv:2006.00894},
  year   = {2022}
}

备注

to be published in Proceedings of the 28th ACM Joint European Software Engineering Conference and Symposium on the Foundations of Software Engineering