在点估计判别神经网络中防止远距数据上的任意高置信度
机器学习
2024-03-28 v2
摘要
判别训练的确定性神经网络是分类问题的默认选择。然而，尽管它们在域内测试集上取得最先进结果，它们往往对分布外（OOD）数据过度自信。例如，ReLU 网络——一类流行的神经网络架构——已被证明在测试数据远离训练集时（即使使用 OOD 数据训练）几乎总是给出高置信度预测。我们通过向神经网络输出添加一个对应于额外类别 logit 的项来克服该问题，该额外类别的 logit 被设计为随着远离训练数据而主导原始类别的 logit。该技术可证明地在保持简单判别点估计训练的同时，防止远距测试数据上的任意高置信度。在多个基准上的评估显示，在远距与真实 OOD 数据上均相对于竞争性基线具有强劲性能。
引用
@article{arxiv.2311.03683,
title = {Preventing Arbitrarily High Confidence on Far-Away Data in Point-Estimated Discriminative Neural Networks},
author = {Ahmad Rashid and Serena Hacker and Guojun Zhang and Agustinus Kristiadi and Pascal Poupart},
journal= {arXiv preprint arXiv:2311.03683},
year = {2024}
}
备注
Accepted at AISTATS 2024