CheapET-3：远程DNN模型的低成本高效使用
软件工程
2022-08-25 v1 人工智能
分布式、并行与集群计算
摘要
在复杂问题上，深度神经网络（DNN）的最先进预测精度可通过由数十亿参数组成的超大规模模型实现。此类模型只能在专用服务器上运行，通常由第三方服务提供，这导致每次预测都有可观的货币成本。我们提出了一种面向客户端应用的新型软件架构，其中小型本地DNN与远程大规模模型协同使用，旨在以可忽略的货币成本在本地完成简单预测，同时仍利用大规模模型处理困难输入的优势。在概念验证中，我们在不损害系统精度的前提下将预测成本降低了至多50%。
引用
@article{arxiv.2208.11552,
title = {CheapET-3: Cost-Efficient Use of Remote DNN Models},
author = {Michael Weiss},
journal= {arXiv preprint arXiv:2208.11552},
year = {2022}
}
备注
Research Abstract. Contact me for a pre-print of the full paper (currently not yet published)