基于分层扰动的对抗训练用于硬盘健康度预测
机器学习
2018-10-02 v4 机器学习
摘要
随着云计算与大数据的发展，数据存储系统的可靠性愈发重要。先前研究者已表明基于 SMART 属性的机器学习算法是预测硬盘故障的有效方法。本文中，我们利用 SMART 属性预测硬盘健康度，这有助于提前采取不同的容错措施。鉴于 SMART 数据集高度不平衡，精确预测健康度并非易事。若以传统方法训练，所提模型会遇到过拟合与偏拟合问题。为解决此问题，我们提出两种策略以更好利用不平衡数据并提升性能。首先，我们设计一种基于分层扰动的对抗训练方法，可对神经网络的任意层添加扰动以提升网络泛化能力。其次，我们将该训练方法扩展至半监督设定。如此，便可利用具有潜在故障可能的未标记数据进一步提升模型性能。我们在两个真实世界硬盘数据集上的大量实验证明了所提方案在有监督与半监督分类中的优越性。经所提方法训练的模型可正确提前 5 天和 15 天预测硬盘健康状态。最后，我们在其他类似异常检测任务（数据集不平衡）中验证了所提训练方法的通用性。结果表明所提方法适用于其他领域。
引用
@article{arxiv.1809.04188,
title = {Layerwise Perturbation-Based Adversarial Training for Hard Drive Health Degree Prediction},
author = {Jianguo Zhang and Ji Wang and Lifang He and Zhao Li and Philip S. Yu},
journal= {arXiv preprint arXiv:1809.04188},
year = {2018}
}
备注
The 2018 IEEE International Conference on Data Mining (ICDM'18)