通过共形化信任推断提炼校准

在边缘设备上部署人工智能 (AI) 模型需要在满足严格的复杂度约束（如有限内存和能源资源）和确保敏感决策任务中可靠性能之间进行微妙的平衡。一种提高可靠性的方法是通过贝叶斯推断进行不确定性量化。然而，这种方法通常需要维护和运行多个模型的集成，这可能超出边缘设备的计算限制。本文引入一种低复杂度方法来解决这一挑战，通过提炼来自更复杂模型的校准信息。在离线阶段，利用来自高复杂度云端模型生成的预测概率来确定一个阈值，该阈值基于云端模型与边缘模型之间的典型偏差。在运行时，使用该阈值构建信任集——一组保证在用户选定置信水平下包含云端模型预测的预测概率范围。通过对预测概率单纯形中的偏差度量进行阈值化，可获得信任集。在视觉和语言任务上的实验表明，所提出的方法称为共形化提炼信任推断 (CD-CI)，显著优于低复杂度贝叶斯方法（如拉普拉斯近似），如此既实用又高效，适用于边缘 AI 部署。