从限制性反馈中获取额外性能
机器学习
2023-07-31 v2
摘要
许多机器学习应用会遇到这样一种情况:模型提供方被要求对先前训练好的模型做进一步精调,以满足本地用户的特定需求。若目标数据可被允许输入模型,该问题就退化为标准的模型调优范式。然而,在大量实际情形中这相当困难——目标数据不与模型提供方共享,但通常可以获取关于模型的某些评估。本文中,我们正式设立了一个名为“从限制性反馈中获取额外性能”(EXPECTED)的挑战,以描述此类模型调优问题。具体而言,EXPECTED 允许模型提供方通过来自本地用户(或一组用户)的反馈多次访问候选模型的操作性能。模型提供方的目标是利用这些反馈最终向本地用户交付一个满意的模型。不同于现有模型调优方法中目标数据总可用于计算模型梯度,EXPECTED 中的模型提供方仅能看到一些可能简单如标量的反馈,例如推理准确率或使用率。为在这种受限情形下实现调优,我们提出通过探索参数分布来刻画模型性能相对于模型参数的几何结构。特别地,对于参数分布于多层深度模型,进一步量身设计了一种查询效率更高的算法,其以分层方式调优并更关注那些收益更好的层。在不同应用上的大量实验表明,我们的工作为 EXPECTED 问题构建了可靠的解决方案。代码见 https://github.com/kylejingli/EXPECTED。
引用
@article{arxiv.2304.14831,
title = {Earning Extra Performance from Restrictive Feedbacks},
author = {Jing Li and Yuangang Pan and Yueming Lyu and Yinghua Yao and Yulei Sui and Ivor W. Tsang},
journal= {arXiv preprint arXiv:2304.14831},
year = {2023}
}
备注
Accepted by IEEE TPAMI in April 2023