内存优化的Once-For-All网络
机器学习
2024-09-11 v1 计算机视觉与模式识别
图像与视频处理
摘要
由于资源约束各异，在不同硬件平台上部署深度神经网络（DNN）具有挑战性。除了旨在使深度模型对硬件友好的手工方法外，神经架构搜索正作为一种工具箱兴起，用于在不牺牲性能的情况下设计更高效的DNN。其中，Once-For-All（OFA）方法提供了一种解决方案，允许从单个超级网络中采样性能良好的子网络——这在计算方面带来了明显优势。然而，OFA并未充分利用目标设备的潜在内存容量，而是侧重于限制每层的最大内存使用量。这为模型泛化能力留下了未开发的潜力。在本文中，我们引入了一种内存优化的OFA（MOOFA）超级网络，旨在通过最大化不同配置下的内存使用（例如，特征多样性）来增强DNN在资源受限设备上的部署。在ImageNet上测试，我们的MOOFA超级网络在内存利用率和模型准确性方面均优于原始OFA超级网络。我们的代码可在https://github.com/MaximeGirard/memory-optimized-once-for-all获取。
引用
@article{arxiv.2409.05900,
title = {Memory-Optimized Once-For-All Network},
author = {Maxime Girard and Victor Quétu and Samuel Tardieu and Van-Tam Nguyen and Enzo Tartaglione},
journal= {arXiv preprint arXiv:2409.05900},
year = {2024}
}