流形上对抗数据增强改善不确定性校准
机器学习
2021-01-18 v5 机器学习
摘要
不确定性估计有助于识别模糊、新颖或异常输入，但对现代深度网络而言，可靠的不确定性量化已被证明具有挑战性。为改进不确定性估计，我们提出流形上对抗数据增强（OMADA），其通过在近似两类或多类之间决策边界的基于自编码器的生成模型潜空间中沿流形上对抗攻击路径，专门尝试生成最具挑战性的样本。在多种数据集和多种不同网络架构上，OMADA 始终比基线模型产生更准确且校准更好的分类器，并优于 Mixup 等竞争方法，同时达到（有时优于）温度缩放等后处理校准方法的性能。OMADA 的变体可基于估计软标签的熵，对模糊的流形上样本采用不同的采样方案，这些方案在泛化性、预测不确定性的校准或分布外输入检测方面表现出特定优势。
引用
@article{arxiv.1912.07458,
title = {On-manifold Adversarial Data Augmentation Improves Uncertainty Calibration},
author = {Kanil Patel and William Beluch and Dan Zhang and Michael Pfeiffer and Bin Yang},
journal= {arXiv preprint arXiv:1912.07458},
year = {2021}
}
备注
Accepted for oral at International Conference on Pattern Recognition, ICPR 2020. Nominated (top 4) for Best Industry Related Paper Award (BIRPA)