TinyM$^2$Net：一种面向微型设备的灵活系统-算法协同设计多模态学习框架
机器学习
2022-04-20 v3 声音
音频与语音处理
摘要
随着人工智能（AI）的出现，在资源受限的微型设备上实现 AI 算法以拓展物联网应用域受到新的关注。多模态学习近期因其在图像与音频事件分类任务上的优异表现而广受欢迎。本文提出 TinyMNet——一种面向资源受限微型设备的灵活系统-算法协同设计多模态学习框架。该框架设计用于在两个不同案例研究上评估：来自多模态音频记录的 COVID-19 检测，以及来自多模态图像与音频的战场目标检测。为压缩模型以在微型设备上部署，进行了大量网络架构优化与混合精度量化（混合 8 位与 4 位）。TinyMNet 表明，即便微小的多模态学习模型也能比任何单模态框架提升分类性能。压缩度最高的 TinyMNet 取得了 88.4% 的 COVID-19 检测准确率（较单模态基线模型提升 14.5%）与 96.8% 的战场目标检测准确率（较单模态基线模型提升 3.9%）。最后，我们在 Raspberry Pi 4 上测试了 TinyMNet 模型，以观察其在资源受限微型设备部署时的表现。
引用
@article{arxiv.2202.04303,
title = {TinyM$^2$Net: A Flexible System Algorithm Co-designed Multimodal Learning Framework for Tiny Devices},
author = {Hasib-Al Rashid and Pretom Roy Ovi and Carl Busart and Aryya Gangopadhyay and Tinoosh Mohsenin},
journal= {arXiv preprint arXiv:2202.04303},
year = {2022}
}
备注
tinyML Research Symposium 2022