嵌入式设备上的自然语言处理：Transformer模型表现如何？
计算与语言
2024-03-08 v4 系统与控制
系统与控制
摘要
本文对不同硬件配置与精度要求下Transformer语言模型的性能进行了研究，并得出关于这些资源/精度权衡的经验性观察。具体而言，我们研究了最常用的基于BERT的语言模型（即BERT、RoBERTa、DistilBERT和TinyBERT）在嵌入式系统上的表现。我们在四款现成嵌入式平台（Raspberry Pi、Jetson、UP2和UDOO）上，分别配备2 GB和4 GB内存（即共八种硬件配置），并使用四个数据集（即HuRIC、GoEmotion、CoNLL、WNUT17）运行多种NLP任务对其进行测试。我们的研究发现，即使在无任何GPU的情况下（例如配备2 GB RAM的Raspberry Pi），在嵌入式系统上执行复杂的NLP任务（如“情感”分类）也是可行的。我们的发现有助于设计人员理解Transformer语言模型尤其是基于BERT架构的模型的可部署性与性能。
引用
@article{arxiv.2304.11520,
title = {Processing Natural Language on Embedded Devices: How Well Do Transformer Models Perform?},
author = {Souvika Sarkar and Mohammad Fakhruddin Babar and Md Mahadi Hassan and Monowar Hasan and Shubhra Kanti Karmaker Santu},
journal= {arXiv preprint arXiv:2304.11520},
year = {2024}
}