面向受限边缘环境的高效参数降维实现帕累托最优性
机器学习
2024-03-19 v1 人工智能
计算机视觉与模式识别
摘要
本文提出了一种对现有深度神经网络（DNN）的优化方法，提高其硬件利用率，促进在资源受限的边缘环境中进行的模型部署。我们在 Xception 模型上实现了高效的参数降维策略，该策略在不牺牲准确率的前提下减小模型大小，从而降低训练期间的内存占用。我们在两个实验中评估了模型：Caltech-101 图像分类和 PCB 缺陷检测。结果显示，我们的模型在测试准确率（76.21%）上优于 Xception（75.89%），平均内存使用（847.9MB）也低于 Xception（874.6MB），且训练和推理速度更快。轻量级模型在本实验中出现了过拟合问题，其中 EfficientNetV2B1 的测试准确率为 30.52%，MobileNetV2 的测试准确率为 58.11%。尽管两者在内存使用方面优于我们的模型和 Xception，但在实际性能上仍落后。对于 PCB 缺陷检测任务，我们的模型在测试准确率（90.30%）上遥遥领先，分别优于 Xception（88.10%）、EfficientNetV2B1（55.25%）和 MobileNetV2（50.50%）。MobileNetV2 的平均内存占用最低（849.4MB），其次是我们的模型（865.8MB），再次是 EfficientNetV2B1（874.8MB），而 Xception 的内存占用最高（893.6MB）。我们进一步实验了预训练权重，发现内存使用量会下降，这表明迁移学习的优势。对模型性能进行帕累托分析后发现，我们的优化模型架构满足了准确率和低内存占用的目标。
引用
@article{arxiv.2403.10569,
title = {Achieving Pareto Optimality using Efficient Parameter Reduction for DNNs in Resource-Constrained Edge Environment},
author = {Atah Nuh Mih and Alireza Rahimi and Asfia Kawnine and Francis Palma and Monica Wachowicz and Rickey Dubay and Hung Cao},
journal= {arXiv preprint arXiv:2403.10569},
year = {2024}
}
备注
arXiv admin note: text overlap with arXiv:2401.05355