EARLIN：面向资源高效协同推理的早期分布外检测
计算机视觉与模式识别
2021-06-30 v2
摘要
协同推理使资源受限的边缘设备能够通过将输入（如图像）上传至运行重型深度学习模型的服务器（即云端）来进行推断。虽然该设置在成功推断时具有成本效益，但当模型面对未训练过的输入样本（称为分布外（OOD）样本）时表现严重不佳。若边缘设备至少能检测出某输入样本为 OOD，则可通过不上传这些输入至服务器进行推理负载来潜在地节省通信与计算资源。本文中，我们提出一种新颖的轻量级 OOD 检测方法，其从预训练 CNN 模型的浅层挖掘重要特征，并基于在约简特征空间上定义的距离函数将输入样本判别为 ID（分布内）或 OOD。我们的技术（a）适用于预训练模型且无需对这些模型进行任何重训练，（b）不暴露于任何 OOD 数据集（所有检测参数均从 ID 训练集获得）。为此，我们开发了 EARLIN（面向协同推理的早期 OOD 检测），其接收预训练模型并在 OOD 检测层对模型进行划分，将极小部分的 OOD 模块部署于边缘设备，其余部分部署于云端。通过真实数据集与原型实现的实验，我们表明相较于其他方法，在基准数据集上预训练的流行深度学习模型之上使用流行 OOD 数据集测试时，我们的技术在总体准确率与成本方面取得了更优结果。
引用
@article{arxiv.2106.13842,
title = {EARLIN: Early Out-of-Distribution Detection for Resource-efficient Collaborative Inference},
author = {Sumaiya Tabassum Nimi and Md Adnan Arefeen and Md Yusuf Sarwar Uddin and Yugyung Lee},
journal= {arXiv preprint arXiv:2106.13842},
year = {2021}
}
备注
To Appear in the proceedings of ECML-PKDD'2021