Obsidian：面向安全 ML 加速器的协作状态空间探索以实现高效推理
密码学与安全
2024-09-05 v1 机器学习
摘要
针对机器学习加速器的受信执行环境（TEE）在安全和高效的 ML 推理中至关重要。通过对加速器架构进行状态空间探索可提高性能和能耗。然而，由于搜索空间庞大，这些探索成本高昂且运行缓慢。当前研究必须使用快速的分析模型，这些模型忽略了硬件安全原语所特有的关键硬件细节和跨层机会。虽然周期准确模型在理论上可以找到更好的设计，但其高运行成本将其限制在更小的状态空间内。我们提出了 Obsidian，这是一个针对 ML 内核映射到安全 ML 加速器的优化框架。Obsidian 通过协同运用分析模型和周期准确模型来探索状态空间，从而解决上述挑战。这两个主要的探索组件包括：(1) 包含安全硬件影响的安全加速器分析模型，遍历大规模映射状态空间并产生最佳 m 模型映射；(2) 在周期准确模型上的编译器剖析步骤，捕获运行时瓶颈，以进一步提高执行运行时间、能耗和资源利用率，并找到最佳模型映射。我们将结果与基线安全加速器进行比较，后者由 guardnn [33] 和 sesame [11] 获得的领先安全方案组成。分析模型在云端可将推理延迟降低 20.5%，在边缘部署中降低 8.4%，能耗分别提高 24% 和 19%。周期准确模型进一步将云端延迟降低 9.1%，边缘延迟降低 12.2%，能耗分别提高 13.8% 和 13.1%。
引用
@article{arxiv.2409.02817,
title = {Obsidian: Cooperative State-Space Exploration for Performant Inference on Secure ML Accelerators},
author = {Sarbartha Banerjee and Shijia Wei and Prakash Ramrakhyani and Mohit Tiwari},
journal= {arXiv preprint arXiv:2409.02817},
year = {2024}
}