TinyM$^2$Net-V3：面向可持续边缘部署的存储感知压缩多模态深度神经网络

先进人工智能算法的发展导致能源消耗和二氧化碳排放显著增加，加剧了人们对气候变化的担忧。这一日益严重的问题已将人工智能技术的环境可持续性推至前沿，尤其是在它们扩展到各个领域时。为应对这些挑战，迫切需要开发可持续的人工智能解决方案。这些解决方案必须专注于能效嵌入式系统，即使在资源有限的环境中也能处理多种数据类型，从而确保技术进步和环境责任。将互补的多模态数据集成到边缘设备的微型机器学习模型中具有挑战性，因为这会增加复杂性、延迟和功耗。本文介绍了TinyM$^2$Net-V3，该系统处理不同模态的互补数据，设计深度神经网络模型，并采用模型压缩技术，包括知识蒸馏和低比特量化，同时考虑存储感知，使模型适应较低的内存层次结构，从而减少延迟并提高资源受限设备的能效。我们在两个多模态案例研究中评估了TinyM$^2$Net-V3：使用咳嗽、语音和呼吸音频进行COVID-19检测，以及从深度和热图像进行姿态分类。使用微型推理模型（6 KB和58 KB），我们分别达到了92.95%和90.7%的准确率。我们的微型机器学习模型部署在资源受限的硬件上，实现了毫秒级的低延迟和非常高的能效。