面向多标签分类任务的高效在线机器学习API选择
机器学习
2022-07-19 v2 人工智能
数据结构与算法
最优化与控制
摘要
OCR和多目标识别等多标签分类任务是日益增长的机器学习即服务行业的主要关注点。尽管有许多多标签预测API可用，但由于这些API在价格和性能上的异质性，用户难以针对自身数据和预算决定使用哪个API。近期工作展示了如何从单标签预测API中进行选择。然而，先前方法的运算复杂度随标签数量呈指数增长，因此不适用于OCR等场景。本工作中，我们提出FrugalMCT，一个原则性框架，以在线方式自适应地为不同数据选择使用的API，同时尊重用户预算。该API选择问题被建模为整数线性规划，我们证明其具有特殊结构，并借此开发了具有强性能保证的高效在线API选择器。我们使用来自Google、Microsoft、Amazon、IBM、腾讯及其他提供商的ML API，针对多标签图像分类、场景文本识别和命名实体识别等任务进行了系统实验。在不同任务中，FrugalMCT可实现超过90%的成本降低，同时匹配最佳单一API的准确率，或在匹配最佳API成本的情况下实现高达8%的准确率提升。
引用
@article{arxiv.2102.09127,
title = {Efficient Online ML API Selection for Multi-Label Classification Tasks},
author = {Lingjiao Chen and Matei Zaharia and James Zou},
journal= {arXiv preprint arXiv:2102.09127},
year = {2022}
}
备注
Accepted to ICML 2022