面向多样计算平台的无回归神经网络研究
计算机视觉与模式识别
2022-09-29 v1 机器学习
摘要
随着端侧深度学习的兴起，确保人工智能服务在多样计算平台上行为一致变得极为重要。我们的工作解决了新出现的负翻转问题：即测试样本被精度较低的模型正确预测，却被精度更高的模型错误预测，由此产生的预测不一致性。我们提出回归约束神经架构搜索（REG-NAS）来设计一系列高精度且产生更少负翻转的模型。REG-NAS包含两部分：(1) 一种新颖的架构约束，使较大模型包含较小模型的所有权重，从而最大化权重共享。该思路源于我们的观察：网络间更大的权重共享会带来相似的逐样本预测并减少负翻转；(2) 一种新颖的搜索奖励，在架构搜索指标中同时纳入Top-1精度与负翻转。我们证明REG-NAS能在三种流行架构搜索空间中成功找到负翻转少的理想架构。与现有最先进方法相比，REG-NAS使负翻转相对减少33-48%。
引用
@article{arxiv.2209.13740,
title = {Towards Regression-Free Neural Networks for Diverse Compute Platforms},
author = {Rahul Duggal and Hao Zhou and Shuo Yang and Jun Fang and Yuanjun Xiong and Wei Xia},
journal= {arXiv preprint arXiv:2209.13740},
year = {2022}
}
备注
To be presented at ECCV 2022