边缘上面向代价敏感二分类的推理卸载
机器学习
2026-01-27 v3 人工智能
分布式、并行与集群计算
摘要
我们关注边缘智能系统中的一个二分类问题，其中假阴性比假阳性代价更高。该系统包含一个本地部署的紧凑模型，并由一个更大的远程模型作为补充，后者可通过网络访问但会产生卸载代价。对于每个样本，我们的系统首先使用本地部署的模型进行推理。基于本地模型的输出，该样本可能会被卸载至远程模型。本研究旨在理解这种分层推理 (HI) 系统中分类准确率与卸载代价之间的基本权衡。为了优化该系统，我们提出了一个在线学习框架，持续调整本地模型置信度分数上的一对阈值。这些阈值决定了本地模型的预测结果以及样本是在本地分类还是卸载至远程模型。针对本地模型已校准的设定，我们给出了闭式解。对于未校准模型的更普遍情形，我们提出了 H2T2，一种在线双阈值分层推理策略，并证明其可实现次线性遗憾。H2T2 与模型无关，无需训练，并在推理阶段利用有限反馈进行学习。在真实世界数据集上的仿真表明，H2T2 始终优于朴素和单阈值 HI 策略，有时甚至超越离线最优解。该策略还展现了对分布偏移的鲁棒性，并能有效适应不匹配的分类器。
引用
@article{arxiv.2509.15674,
title = {Inference Offloading for Cost-Sensitive Binary Classification at the Edge},
author = {Vishnu Narayanan Moothedath and Umang Agarwal and Umeshraja N and James Richard Gross and Jaya Prakash Champati and Sharayu Moharir},
journal= {arXiv preprint arXiv:2509.15674},
year = {2026}
}