理解多出口模型在常见 corruption 下的鲁棒性
机器学习
2022-12-06 v1 计算机视觉与模式识别
摘要
多出口模型(MEMs)采用早退策略,通过允许样本在网络最后一层之前退出,来提高深度神经网络(DNNs)的准确率和效率。然而,MEMs在分布偏移下的有效性在很大程度上仍未被探索。我们的工作考察了由常见图像 corruption 产生的分布偏移如何影响MEMs的准确率/效率。我们发现,在常见 corruption 下,在第一个正确出口处早退降低了推理成本,并相比在最后一层退出带来了显著的准确率提升(10%)。然而,在现实的早退策略(不假设已知正确出口)下,MEMs仍降低推理成本,但相比在最后一层退出仅带来微小的准确率提升(1%)。此外,与在分布内数据上的差距相比,分布偏移的存在使MEM的最大分类准确率与现实早退策略之间的差距平均扩大了5%。我们的实证分析表明,分布偏移导致的缺乏校准增加了此类早退策略过早退出的敏感性,并提高了误分类率。此外,缺乏校准增加了模型在各出口间预测的不一致性,导致相比在分布内数据上的评估,推理效率更低且误分类更多。最后,我们提出两个度量指标——欠思考(underthinking)与过思考(overthinking),以量化实际早退策略在分布偏移下的不同行为,并为提升MEMs的实际效用提供见解。
引用
@article{arxiv.2212.01562,
title = {Understanding the Robustness of Multi-Exit Models under Common Corruptions},
author = {Akshay Mehra and Skyler Seto and Navdeep Jaitly and Barry-John Theobald},
journal= {arXiv preprint arXiv:2212.01562},
year = {2022}
}
备注
16 pages, 22 figures