HAPI：一个大规模商业ML API预测纵向数据集

由Google、Amazon和Microsoft等提供商提供的商业ML API极大地简化了ML在许多应用中的采用。众多公司和学术机构付费使用ML API来完成目标检测、OCR和情感分析等任务。处理同一任务的不同ML API可能具有非常异构的性能。此外，API底层的ML模型也会随时间演变。随着ML API迅速成为一个有价值的市场以及一种广泛使用的机器学习消费方式，系统地研究并比较不同API彼此之间的差异，并刻画API随时间的变化特征至关重要。然而，由于数据匮乏，该课题目前未被充分探索。在本文中，我们提出HAPI（History of APIs），一个包含1,761,417条商业ML API应用实例的纵向数据集（涉及Amazon、Google、IBM、Microsoft及其他提供商的API），涵盖2020年至2022年间的图像标注、语音识别和文本挖掘等多种任务。每条实例包含一个API的查询输入（如图像或文本）以及该API的输出预测/标注和置信度分数。HAPI是首个大规模的ML API使用数据集，是研究机器学习即服务（MLaaS）的独特资源。作为HAPI所支持的 analysis 类型的示例，我们展示ML API的性能随时间发生显著变化——若干API在特定基准数据集上的准确率出现下降。即使API的总体性能保持平稳，其错误模式在2020至2022年间也可能在不同数据子类型之间发生转移。此类变化会对其作为组件使用的整个分析流水线产生实质性影响。我们进一步利用HAPI研究商业API在不同人口统计子群体上随时间的性能差异。HAPI能够激励MLaaS这一新兴领域更多的研究。