评估与增强深度推荐系统抵御硬件错误的鲁棒性
信息检索
2023-07-21 v1 机器学习
摘要
深度推荐系统（DRS）严重依赖专用的 HPC 硬件与加速器来优化能耗、效率和推荐质量。尽管在部署 DRS 的大规模机群系统中观测到的硬件错误日益增多，DRS 的鲁棒性却很大程度上被忽视。本文首次对 DRS 抵御硬件错误的鲁棒性进行了系统性研究。我们开发了 Terrorch，一个构建于广泛使用的 PyTorch 之上的用户友好、高效且灵活的错误注入框架。我们评估了多种模型与数据集，观察到 DRS 抵御硬件错误的鲁棒性受到从模型参数到输入特征等多种因素的影响。我们还探索了三种错误缓解方法，包括基于算法的容错（ABFT）、激活裁剪和选择性位保护（SBP）。我们发现应用激活裁剪可恢复多达 30% 退化的 AUC-ROC 分数，使其成为一种有前景的缓解方法。
引用
@article{arxiv.2307.10244,
title = {Evaluating and Enhancing Robustness of Deep Recommendation Systems Against Hardware Errors},
author = {Dongning Ma and Xun Jiao and Fred Lin and Mengshi Zhang and Alban Desmaison and Thomas Sellinger and Daniel Moore and Sriram Sankar},
journal= {arXiv preprint arXiv:2307.10244},
year = {2023}
}