中文

汽车嵌入式软件工程中的贝叶斯倾向得分匹配

软件工程 2022-07-04 v1

摘要

随机现场实验(如 A/B 测试)长期以来一直是评估新软件为客户带来价值的黄金标准。然而,在汽车嵌入式软件开发中,运行随机现场实验并不总是可取、可行甚至合乎伦理的。面对此类限制,我们提出在汽车领域观测性研究的因果推断中使用贝叶斯倾向得分匹配技术。在本文中,我们提出了一种基于贝叶斯倾向得分匹配框架的方法,应用于汽车软件工程这一独特场景。该方法用于从观测性在线评估中生成平衡的控制组和处理组,并估计来自软件变更的因果处理效应,即使处理组样本有限。我们以汽车领域的一个概念验证为例说明该方法。在示例中,我们有一个较大的控制车队(N_c=1100)使用当前软件,以及一个较小的处理车队(N_t=38),其中我们引入了新的软件变体。我们展示了一个场景:向所有用户发布新软件受到限制,因此无法进行完全随机的实验。为此,我们利用以 14 个观测协变量作为输入的贝叶斯倾向得分匹配方法。结果显示组间更为平衡,适合从收集的观测数据中估计因果处理效应。我们详细描述了该方法并分享了我们的配置。此外,我们讨论了如何利用小样本组将此类方法用于新软件的在线评估。

关键词

引用

@article{arxiv.2109.12563,
  title  = {Bayesian propensity score matching in automotive embedded software engineering},
  author = {Yuchu Liu and David Issa Mattos and Jan Bosch and Helena Holmström Olsson and Jonn Lantz},
  journal= {arXiv preprint arXiv:2109.12563},
  year   = {2022}
}

备注

To appear at the 28th Asia-Pacific Software Engineering Conference (APSEC 2021)