GHN-Q：基于图超网络预测未见量化卷积架构参数的方法
机器学习
2023-08-21 v2 人工智能
计算机视觉与模式识别
摘要
深度卷积神经网络（CNN）通过迭代优化进行训练，在寻找最优参数方面取得了令人瞩目的成功。然而，现代 CNN 架构通常包含数百万参数。因此，单一架构的任一给定模型都位于庞大的参数空间中。具有相似损失的模型可能具有截然不同的特性，如对抗鲁棒性、泛化能力与量化鲁棒性。对于边缘端深度学习，量化鲁棒性往往至关重要。寻找具备量化鲁棒性的模型有时需要大量工作。近期使用图超网络（GHN）的工作在预测不同 CNN 架构的高性能参数方面展现出卓越性能。受这些成功启发，我们探究 GHN-2 的图表示是否也可被用于预测量化鲁棒参数，我们称之为 GHN-Q。我们开展了首项探索利用图超网络预测未见量化 CNN 架构参数的研究。我们聚焦于一个精简的 CNN 搜索空间，并发现 GHN-Q 实际上能为多种 8 位量化 CNN 预测量化鲁棒参数。即便 GHN-Q 未在其上训练，在 4 位量化下也观察到尚可的量化精度。对 GHN-Q 在更低比特宽度下进行量化微调可能带来进一步改进，目前正在探索中。
引用
@article{arxiv.2208.12489,
title = {GHN-Q: Parameter Prediction for Unseen Quantized Convolutional Architectures via Graph Hypernetworks},
author = {Stone Yun and Alexander Wong},
journal= {arXiv preprint arXiv:2208.12489},
year = {2023}
}
备注
Updated Figure 1 and added additional results in Table 1. Initial extended abstract version accepted at Edge Intelligence Workshop 2022 for poster presentation