M-因子：资源受限环境下神经网络架构搜索的新型评估指标
机器学习
2025-01-30 v1 人工智能
摘要
神经网络架构搜索（NAS）旨在自动化深度神经网络的设计。然而，现有NAS技术常侧重于最大化准确率，忽略模型效率。这一局限限制了其在移动设备和边缘计算系统等资源受限环境中的应用。此外，当前的评估指标优先考虑性能而非效率，缺乏针对适用于受限场景的体系结构进行均衡评估的方法。为解决这些挑战，本文引入M-因子，这是一种结合模型准确率和规模的新型指标。比较了四种多样化的NAS技术：基于策略的强化学习、正则化演化、树结构概率森林估计（TPE）和多试验随机搜索。这些技术代表了不同的NAS范式，提供了对M-因子的全面评估。该研究在CIFAR-10数据集上分析ResNet配置，搜索空间包含19,683个配置。实验结果显示，基于策略的强化学习和正则化演化分别获得了0.84和0.82的M-因子值，而多试验随机搜索获得了0.75，TPE达到0.67。基于策略的强化学习在39次试验后表现发生变化，而正则化演化在20次试验内达到优化。研究探讨了每种策略在准确率与模型规模之间优化动力学和权衡。研究结果表明，在某些情况下，使用M-因子评估时，随机搜索的表现与更复杂算法相当。这些结果突显了M-因子如何解决现有指标的局限性，引导NAS向均衡体系结构发展，为在需要性能和效率并重的场景中选择策略提供了宝贵见解。
引用
@article{arxiv.2501.17361,
title = {The M-factor: A Novel Metric for Evaluating Neural Architecture Search in Resource-Constrained Environments},
author = {Srikanth Thudumu and Hy Nguyen and Hung Du and Nhat Duong and Zafaryab Rasool and Rena Logothetis and Scott Barnett and Rajesh Vasa and Kon Mouzakis},
journal= {arXiv preprint arXiv:2501.17361},
year = {2025}
}