大规模机器学习系统中的并发分类器错误检测（CCED）
机器学习
2024-01-17 v1
摘要
机器学习（ML）系统的复杂性逐年增加，当前大语言模型或文本到图像生成器的实现具有数十亿参数并需要数十亿次算术运算。随着这些系统被广泛使用，确保其可靠运行正成为一项设计要求。传统的错误检测机制引入了电路或时间冗余，会显著影响系统性能。一种替代方案是使用并发错误检测（CED）方案，该方案与系统并行运行并利用其特性来检测错误。CED对大型ML系统颇具吸引力，因为它有可能降低错误检测的成本。本文引入并发分类器错误检测（CCED），一种在ML系统中利用并发ML分类器检测错误来实现CED的方案。CCED在主ML系统中确定一组检查信号，并将其馈送至经过训练以检测错误的并发ML分类器。所提出的CCED方案已在两个广泛使用的大规模ML模型上实现和评估：用于图像分类的对比语言图像预训练（CLIP）和用于自然语言应用的来自Transformer的双向编码器表示（BERT）。结果表明，当使用一个比CLIP或BERT简单一个数量级的简单随机森林分类器时，可检测到超过95%的错误。这些结果说明了CCED在大规模ML模型中实现错误检测的潜力。
引用
@article{arxiv.2306.01820,
title = {Concurrent Classifier Error Detection (CCED) in Large Scale Machine Learning Systems},
author = {Pedro Reviriego and Ziheng Wang and Alvaro Alonso and Zhen Gao and Farzad Niknia and Shanshan Liu and Fabrizio Lombardi},
journal= {arXiv preprint arXiv:2306.01820},
year = {2024}
}