在贝叶斯神经网络中融入可解释的输出的约束
机器学习
2021-01-07 v2 机器学习
摘要
部署监督模型的领域通常带有特定任务的约束，例如关于真实函数的先验专家知识，或安全性与公平性等期望属性。我们引入了一种用于对这些约束进行推理的新型概率框架，并构造了一个先验，使我们能够将它们有效地融入贝叶斯神经网络（BNNs）中，包括一种可在多个任务间摊销的变体。所得到的输出约束贝叶斯神经网络（OC-BNN）完全符合用于不确定性量化的贝叶斯框架，并且适用于黑盒推断。与典型的在不可解释参数空间中的BNN推断不同，OC-BNN拓宽了可融入的函数知识范围，尤其服务于不具备机器学习专业知识的模型使用者。我们在涵盖医疗、刑事司法和信用评分等多个领域的真实数据集上展示了OC-BNN的有效性。
引用
@article{arxiv.2010.10969,
title = {Incorporating Interpretable Output Constraints in Bayesian Neural Networks},
author = {Wanqian Yang and Lars Lorch and Moritz A. Graule and Himabindu Lakkaraju and Finale Doshi-Velez},
journal= {arXiv preprint arXiv:2010.10969},
year = {2021}
}
备注
11 pages, with six supplementary pages. 34th Conference on Neural Information Processing Systems (NeurIPS 2020), Vancouver, Canada. Code available at: https://github.com/dtak/ocbnn-public. Updated version (final, official submission to NeurIPS in January 2021) includes post-conference revisions: improved results in Section 6.2, and corrected minor errata in Appendix C