论机器学习的安全性：信息物理系统、决策科学与数据产品

机器学习算法日益影响我们的决策，并在日常生活的方方面面与我们交互。因此，正如我们考量发电厂、高速公路及各种其他工程化社会技术系统的安全性一样，我们也必须考虑涉及机器学习的系统的安全性。迄今为止，安全性的定义尚未在机器学习语境中被形式化。本文通过从风险、认知不确定性以及非预期结果造成的危害来定义机器学习安全性，从而完成这一形式化工作。随后，我们运用这一定义审视信息物理系统、决策科学和数据产品中各类应用的安全性。我们发现，现代统计机器学习的基础原则——经验风险最小化——并非总是充分的目标。最后，我们讨论了工程领域实现安全性的四类不同策略——包括本质安全设计、安全裕度、故障安全及程序性保障——如何映射到机器学习语境中。进而，我们探讨了每一类策略中可采纳的示例技术，例如考虑预测模型的可解释性与因果性、超越期望预测精度的目标函数、人类参与标注困难或罕见样本，以及软件与开放数据的用户体验设计。