MIMONet:多输入多输出端侧深度学习
机器人学
2024-08-13 v2 计算机视觉与模式识别
摘要
未来的智能机器人有望像人类一样同时处理多种输入(如图像与音频数据)并相应生成多种输出(如性别与情绪)。近期研究表明,多输入单输出(MISO)深度神经网络(DNN)优于传统的单输入单输出(SISO)模型,是迈向该目标的重要一步。本文提出MIMONet,一种新颖的端侧多输入多输出(MIMO)DNN框架,在延迟、能耗与内存占用等关键性能指标上实现高精度与端侧高效性。利用现有SISO模型压缩技术,MIMONet开发了一种专为MIMO模型定制的新深度压缩方法。该新方法探索了MIMO模型独特而非平凡的性质,从而提升了精度与端侧效率。在机器人系统常用的三个嵌入式平台以及使用TurtleBot3机器人的案例研究上的大量实验表明,与最先进的SISO、MISO模型以及我们构建的基线MIMO模型相比,MIMONet实现了更高精度与更优端侧效率。我们的评估凸显了MIMONet的实际适用性及其显著提升智能机器人系统性能的潜力。
引用
@article{arxiv.2307.11962,
title = {MIMONet: Multi-Input Multi-Output On-Device Deep Learning},
author = {Zexin Li and Xiaoxi He and Yufei Li and Wei Yang and Lothar Thiele and Cong Liu},
journal= {arXiv preprint arXiv:2307.11962},
year = {2024}
}
备注
Submitted to ICRA 2025