C-NMT：一种用于神经机器翻译的协作推理框架
机器学习
2022-04-11 v1 人工智能
计算与语言
系统与控制
系统与控制
摘要
协作推理（CI）通过边缘设备与云设备之间的协同操作，优化深度学习推理的延迟与能耗。尽管对其他任务有益，CI 此前从未被应用于神经机器翻译（NMT）核心的序列到序列映射问题。在本工作中，我们解决了协作式 NMT 的特定问题，例如估计生成（未知）输出序列所需的延迟，并展示了如何使现有 CI 方法适配这些应用。我们的实验表明，与非协作方法相比，CI 能将 NMT 的延迟降低至多 44%。
引用
@article{arxiv.2204.04043,
title = {C-NMT: A Collaborative Inference Framework for Neural Machine Translation},
author = {Yukai Chen and Roberta Chiaro and Enrico Macii and Massimo Poncino and Daniele Jahier Pagliari},
journal= {arXiv preprint arXiv:2204.04043},
year = {2022}
}
备注
Accepted as a conference paper at the 2022 IEEE International Symposium on Circuits and Systems (ISCAS)