三重收益：通过输入自适应推理同时提升准确率、鲁棒性与效率
计算机视觉与模式识别
2020-02-26 v2 机器学习
摘要
近期有研究指出深度网络在准确率（干净自然图像上）与鲁棒性（对抗扰动图像上）之间存在权衡（Tsipras 等，2019）。这种困境被表明根植于学习高准确率且鲁棒分类器固有的更高样本复杂度（Schmidt 等，2018）和/或模型容量（Nakkiran，2019）。有鉴于此，给定一个分类任务，增大模型容量似乎有助于在准确率与鲁棒性间实现双赢，却以模型规模与延迟为代价，从而给资源受限应用带来挑战。是否可能协同设计模型准确率、鲁棒性与效率以达成三重收益？本文研究多出口网络与输入自适应高效推理，显示其在协同优化模型准确率、鲁棒性与效率方面达到“甜点”的强劲潜力。我们提出的方案称为鲁棒动态推理网络（RDI-Nets），允许每个输入（干净或对抗的）自适应选择多个输出层（早期分支或最终层）之一输出其预测。该多损失自适应为对抗攻击与防御增添了新的变化与灵活性，我们对此进行了系统研究。实验表明，通过为现有骨干网络配备此种鲁棒自适应推理，所得 RDI-Nets 相比受防御的原模型可取得更好准确率与鲁棒性，且计算开销节省逾 30%。
引用
@article{arxiv.2002.10025,
title = {Triple Wins: Boosting Accuracy, Robustness and Efficiency Together by Enabling Input-Adaptive Inference},
author = {Ting-Kuei Hu and Tianlong Chen and Haotao Wang and Zhangyang Wang},
journal= {arXiv preprint arXiv:2002.10025},
year = {2020}
}
备注
Published on ICLR 2020