采用双监督机制以高效使用大规模远程深度神经网络
机器学习
2023-04-07 v1 软件工程
摘要
近几十年来，大规模深度神经网络（DNNs）崛起，在多种人工智能任务中达到可与人类竞争的性能。这些DNN通常由数亿乃至数千亿参数组成，过于庞大而无法部署到资源受限设备（如手机或物联网微控制器）上或在其上高效运行。依赖大规模DNN的系统因此必须通过网络调用相应模型，导致托管和运行大规模远程模型的巨大成本，这些成本通常按次计费。在本文中，我们提出BiSupervised这一新颖架构：在依赖大型远程DNN之前，系统尝试在小型本地模型上做出预测。一个DNN监督器监控该预测过程，并识别可信任本地预测的简易输入。对于这些输入，无需调用远程模型，从而节省成本，同时仅轻微影响整体系统精度。我们的架构还预见了第二个监督器，用于监控远程预测并识别即便远程预测也不可信的输入，从而能够抛出异常或改而运行回退策略。我们在四个不同案例研究上评估了成本节省及检测错误预测输入的能力：IMDB影评情感分类、Github问题分派、Imagenet图像分类和SQuADv2自由文本问答。
引用
@article{arxiv.2304.02654,
title = {Adopting Two Supervisors for Efficient Use of Large-Scale Remote Deep Neural Networks},
author = {Michael Weiss and Paolo Tonella},
journal= {arXiv preprint arXiv:2304.02654},
year = {2023}
}
备注
A corresponding registered Report (i.e., paper without results) was accepted at ACM TOSEM. This preprint includes the (not yet peer-reviewed) results