可信执行环境中内存高效的深度学习推理
密码学与安全
2021-10-01 v2 机器学习
性能
摘要
本研究识别并提出了缓解在可信执行环境（TEEs）中执行深度神经网络的两个关键瓶颈的技术：卷积层执行期间的页面抖动，以及全连接层中大型权重矩阵的解密。对于前者，我们提出了一种新颖的分区方案，即 y-plane 分区，旨在（i）当层输出相对于 TEE 安全内存较大时提供一致的执行时间；以及（ii）显著减小卷积层的内存占用。对于后者，我们利用量化和压缩。在我们的评估中，对于广泛的 TEE 尺寸，所提出的优化带来的延迟开销在基线的 1.09 倍至 2 倍之间；相比之下，未修改的实现在 TEE 内运行时延迟高达 26 倍。
引用
@article{arxiv.2104.15109,
title = {Memory-Efficient Deep Learning Inference in Trusted Execution Environments},
author = {Jean-Baptiste Truong and William Gallagher and Tian Guo and Robert J. Walls},
journal= {arXiv preprint arXiv:2104.15109},
year = {2021}
}
备注
To Appear in the 9th IEEE International Conference on Cloud Engineering (IC2E 21)