通过共形对齐实现边缘-云模型级联中的可靠推理

边缘智能通过紧凑的端侧模型实现低延迟推理，但确保可靠性仍然具有挑战性。我们研究必须保持条件覆盖率的边缘-云级联：每当边缘返回一个预测集时，它应该以用户指定的概率包含真实标签，就像由云模型产生的一样。我们针对云预测分布形式化了条件覆盖率，并引入了一种基于共形对齐（CAb）的级联机制，该机制在用户控制风险水平的情况下验证了这一性质。我们的方法将边缘到云模型的升级问题转化为一个多重假设检验（MHT）问题，定制共形对齐（CA）以选择哪些输入可以在边缘安全处理。所提出的CAb模型级联方法在平均边缘决策比例上提供了统计保证，这些决策满足云级条件覆盖率。该过程适用于任意边缘预测集，包括共形预测（CP）的变体，并在覆盖率、延迟率和集合大小之间暴露了一个可调节的权衡。在CIFAR-100图像分类和TeleQnA问答（QA）基准上的实验表明，所提出的CAb级联在保持边缘预测的目标条件覆盖率的同时，大幅减少了向云的卸载，并且预测集大小仅有适度增加。