回归任务的分布外检测：参数熵与预测器熵之比较
机器学习
2023-09-13 v2 人工智能
机器学习
摘要
检测实例是否远离训练样本以致机器学习模型不可信至关重要，这一挑战称为分布外（OOD）检测。对于神经网络，该任务的一种方法是学习一组均能解释训练数据的多样化预测器。该信息可用于根据预测不一致性的度量来估计给定新观测实例的认识不确定性。对方法检测OOD能力的评估与认证需指定在部署中可能出现但无预测可用的实例。聚焦回归任务，我们为此OOD分布选择简单而有洞见的模型，并实证评估多种方法区分OOD样本与数据的能力。此外，我们给出证据表明参数的多样性可能未能转化为预测器的多样性。基于OOD分布的选择，我们提出一种基于函数空间中最近邻估计预测器分布熵的新方法。这导出一个变分目标，其与生成式神经网络给出的分布族结合，可系统性地产生多样化预测器，提供检测OOD样本的鲁棒方式。
引用
@article{arxiv.2010.12995,
title = {Out-of-distribution detection for regression tasks: parameter versus predictor entropy},
author = {Yann Pequignot and Mathieu Alain and Patrick Dallaire and Alireza Yeganehparast and Pascal Germain and Josée Desharnais and François Laviolette},
journal= {arXiv preprint arXiv:2010.12995},
year = {2023}
}