FROB:用于分类与分布外检测的少样本鲁棒模型
机器学习
2022-02-03 v2 机器学习
摘要
如今,少样本设定下的分类与分布外(OoD)检测仍是具有挑战性的目标,原因在于少样本设定中样本的稀缺与有限,以及对抗攻击的存在。实现这些目标对安全、安保与国防等关键系统十分重要。同时,OoD 检测具有挑战性,因为深度神经网络分类器会对远离训练数据的 OoD 样本给出高置信度。为应对此类局限,我们提出用于分类与少样本 OoD 检测的少样本鲁棒(FROB)模型。我们设计 FROB 以提升少样本 OoD 检测的鲁棒性与可靠置信度预测。我们生成正常类分布的支持边界,并将其与少样本异常暴露(OE)结合。我们提出一种基于生成式与判别式模型的自我监督学习少样本置信边界方法。FROB 的贡献在于以自我监督学习方式组合所生成的边界,并在该学习到的边界上施加低置信度。FROB 在边界上隐式生成强对抗样本,并迫使包括我们所设边界在内的 OoD 样本被分类器赋予较低置信度。FROB 实现对未见 OoD 的泛化,可应用于与训练数据集不相关的真实未知测试集。为提升鲁棒性,FROB 重新设计 OE 使其即便在零样本下也能工作。通过引入我们的边界,FROB 降低了与模型少样本鲁棒性相关的阈值;它使 OoD 性能大致独立于少样本数量。FROB 在不同集合与单类分类(OCC)数据上的少样本鲁棒性分析评估表明,FROB 取得了具竞争力的性能,并在对异常少样本总体与可变性的鲁棒性方面优于基准。
引用
@article{arxiv.2111.15487,
title = {FROB: Few-shot ROBust Model for Classification and Out-of-Distribution Detection},
author = {Nikolaos Dionelis and Mehrdad Yaghoobi and Sotirios A. Tsaftaris},
journal= {arXiv preprint arXiv:2111.15487},
year = {2022}
}
备注
Paper, 22 pages, Figures, Tables