硬件与软件平台推理

由于高昂的前期硬件基础设施和能源成本，购买大型语言模型（LLM）推理服务而非自托管已成为常见的商业实践。然而，作为买家，没有机制可以验证所宣传服务的真实性，包括所服务的硬件平台，例如它实际上是否使用 NVIDIA H100 进行服务。此外，有报道称模型提供商可能会提供与所宣传略有不同的模型，通常是为了让它们在更便宜的硬件上运行。这样，客户为在更昂贵硬件上访问功能强大的模型支付溢价，但最终却由（可能功能较弱）在更便宜硬件上运行的更便宜模型提供服务。在本文中，我们引入了硬件和软件平台推理（HSPI）——一种仅基于机器学习模型（黑盒）的输入输出行为来识别其底层 GPU 架构和软件栈的方法。我们的方法利用各种 GPU 架构和编译器之间的固有差异来区分不同的 GPU 类型和软件栈。通过分析模型输出中的数值模式，我们提出了一个分类框架，能够准确识别用于模型推理的 GPU 以及底层软件配置。我们的发现证明了从黑盒模型推断 GPU 类型的可行性。我们在不同真实硬件上服务的模型上评估了 HSPI，发现在白盒设置中我们可以以 $83.9\%$ 到 $100\%$ 的准确率区分不同的 GPU。即使在黑盒设置中，我们取得的结果也比随机猜测准确率高出 3 倍。我们的代码可在 https://github.com/ChengZhang-98/HSPI 获取。