面向不平衡数据集的基于深度生成模型的异常检测
机器学习
2018-11-05 v1 机器学习
摘要
许多重要的数据分析应用呈现出相对于目标变量严重不平衡的数据集。一个典型的例子是医学图像分析，其中正样本稀少，而性能通常依据这些正样本的正确检测来估计。我们通过将问题表述为基于生成模型的异常检测来应对这一挑战。我们在“负”（常见）数据点上无监督地训练生成模型，并用该模型估计未见数据的似然。一个成功的模型使我们能够将“正”例检测为低似然数据点。在本立场论文中，我们提出使用最先进的深度生成模型（GAN和VAE）来估计数据的似然。我们的结果表明，一方面，GAN和VAE在MNIST案例下均能分离“正”与“负”样本；另一方面，在NLST案例中，GAN和VAE均未能捕捉数据的复杂性并以该任务所需的水平判别异常。这些结果表明，尽管文献中已有若干使用生成模型于类似应用的成功案例，但广泛成功实施仍面临进一步挑战。
引用
@article{arxiv.1811.00986,
title = {Anomaly Detection for imbalanced datasets with Deep Generative Models},
author = {Nazly Rocio Santos Buitrago and Loek Tonnaer and Vlado Menkovski and Dimitrios Mavroeidis},
journal= {arXiv preprint arXiv:1811.00986},
year = {2018}
}
备注
15 pages, 13 figures, accepted by Benelearn 2018 conference