元学习低秩协方差因子用于基于能量的确定性不确定性
机器学习
2022-03-17 v3 机器学习
摘要
近期大量工作利用神经网络层的双 Lipschitz 正则化来保持各层特征空间中数据实例间的相对距离。这种相对于数据的距离敏感性有助于不确定性校准和分布外(OOD)检测等任务。在先前的工作中,利用距离敏感模型提取的特征来构建特征协方差矩阵,并用于确定性不确定性估计或 OOD 检测。然而,在存在任务分布的情况下,这些方法得到的协方差是次优的,因为它们可能未充分利用可在任务间共享的所有元信息。借助注意力集合编码器,我们提出元学习对角或对角加低秩因子,以高效构建特定于任务的协方差矩阵。此外,我们提出一种推理过程,利用缩放能量获得在分布数据集偏移下校准良好的最终预测分布。
引用
@article{arxiv.2110.06381,
title = {Meta Learning Low Rank Covariance Factors for Energy-Based Deterministic Uncertainty},
author = {Jeffrey Willette and Hae Beom Lee and Juho Lee and Sung Ju Hwang},
journal= {arXiv preprint arXiv:2110.06381},
year = {2022}
}