用于不确定性量化的莫尔斯神经网络
机器学习
2023-07-04 v1 人工智能
机器学习
摘要
我们引入了一种新的深度生成模型，可用于不确定性量化：莫尔斯神经网络（Morse neural network），它将非归一化高斯密度推广为具有高维子流形模态而非仅离散点的模态。通过 KL 散度损失拟合莫尔斯神经网络可得到 1) 一个（非归一化）生成密度，2) 一个分布外（OOD）检测器，3) 一个校准温度，4) 一个生成采样器，以及在监督情形下的 5) 一个距离感知分类器。莫尔斯网络可用于预训练网络之上，以带来相对于训练数据的距离感知校准。由于其多功能性，莫尔斯神经网络统一了许多技术：例如，用于 OOD 检测的（Macêdo et al., 2021）的熵分布外检测器、用于异常检测的（Ruff et al., 2018）的单类深度支持向量描述方法，或用于持续学习的对比单类分类器（Sun et al., 2021）。莫尔斯神经网络与支持向量机、核方法以及拓扑学中的莫尔斯理论存在联系。
引用
@article{arxiv.2307.00667,
title = {Morse Neural Networks for Uncertainty Quantification},
author = {Benoit Dherin and Huiyi Hu and Jie Ren and Michael W. Dusenberry and Balaji Lakshminarayanan},
journal= {arXiv preprint arXiv:2307.00667},
year = {2023}
}
备注
Accepted to ICML workshop on Structured Probabilistic Inference & Generative Modeling 2023