ADMoE：利用噪声标签进行异常检测的混合专家方法
机器学习
2022-11-24 v2 密码学与安全
摘要
现有的异常检测（AD）工作依赖于人工标注者提供的干净标签，而这在实践中获取成本高昂。本工作中，我们提出一种方法，利用较弱/噪声标签（例如，用于检测恶意软件的机器规则生成的风险分数）进行异常检测，这类标签获取更便宜。具体而言，我们提出ADMoE，这是首个使异常检测算法能从噪声标签学习的框架。简而言之，ADMoE利用混合专家（MoE）架构，从多个噪声源中鼓励专门化和可扩展的学习。它通过共享大部分模型参数来捕获噪声标签间的相似性，同时通过构建“专家”子网络鼓励专门化。为进一步从噪声标签中提取信号，ADMoE将它们作为输入特征以促进专家学习。在八个数据集（包括一个专有企业安全数据集）上的大量结果表明了ADMoE的有效性，其相较不使用它带来了高达34%的性能提升。同时，在同等网络参数和FLOPS下，它优于共13个领先基线。值得注意的是，ADMoE与模型无关，可使任何基于神经网络的检测方法处理噪声标签，我们展示了其在多层感知机（MLP）和领先AD方法DeepSAD上的结果。
引用
@article{arxiv.2208.11290,
title = {ADMoE: Anomaly Detection with Mixture-of-Experts from Noisy Labels},
author = {Yue Zhao and Guoqing Zheng and Subhabrata Mukherjee and Robert McCann and Ahmed Awadallah},
journal= {arXiv preprint arXiv:2208.11290},
year = {2022}
}
备注
AAAI 2023