释放掩码：探索分布外检测的内在能力
机器学习
2023-06-07 v1
摘要
在现实应用部署机器学习模型时，分布外（OOD）检测是安全 AI 不可或缺的方面。以往的范式要么探索更好的评分函数，要么利用离群值知识赋予模型 OOD 检测能力。然而，它们极少关注给定模型内在的 OOD 检测能力。本工作中，我们普遍发现：在分布内（ID）数据上训练的模型存在一个中间阶段，其 OOD 检测性能高于最终阶段，且该现象跨不同设置成立；并进一步确定一关键数据层面归因，即使用非典型样本学习。基于上述洞见，我们提出一种新方法 Unleashing Mask，旨在恢复经 ID 数据充分训练模型的 OOD 判别能力。我们的方法利用掩码找出被记忆的非典型样本，随后用引入的掩码微调或剪枝模型以遗忘它们。大量实验与分析证明了方法的有效性。代码见：https://github.com/tmlr-group/Unleashing-Mask。
引用
@article{arxiv.2306.03715,
title = {Unleashing Mask: Explore the Intrinsic Out-of-Distribution Detection Capability},
author = {Jianing Zhu and Hengzhuang Li and Jiangchao Yao and Tongliang Liu and Jianliang Xu and Bo Han},
journal= {arXiv preprint arXiv:2306.03715},
year = {2023}
}
备注
accepted by ICML 2023