Fastrack：利用GPU可信执行环境实现安全机器学习的快速输入输出
密码学与安全
2024-10-22 v1 硬件体系结构
摘要
随着基于云的机器学习的发展，确保训练和推理过程中的数据安全至关重要。基于GPU的可信执行环境（TEE）提供了安全、高性能的解决方案，其中CPU TEE管理数据移动，GPU TEE处理身份验证和计算。然而，CPU到GPU的通信开销显著阻碍了性能，因为数据必须经过加密、认证、解密和验证，导致成本增加12.69至33.53倍。这导致GPU TEE推理比非TEE系统慢54.12%至903.9%，训练慢10%至455%，削弱了GPU TEE在延迟敏感应用中的优势。本文分析了Nvidia H100 TEE协议，并确定了三个关键开销：1）冗余的CPU重新加密，2）有限的身份验证并行性，以及3）不必要的操作序列化。我们提出了Fastrack，通过以下优化：1）直接GPU TEE通信，2）并行化身份验证，以及3）将解密与PCI-e传输重叠。这些优化将通信成本降低了高达84.6%，与非TEE系统相比开销极小。
引用
@article{arxiv.2410.15240,
title = {Fastrack: Fast IO for Secure ML using GPU TEEs},
author = {Yongqin Wang and Rachit Rajat and Jonghyun Lee and Tingting Tang and Murali Annavaram},
journal= {arXiv preprint arXiv:2410.15240},
year = {2024}
}