不知情下的迁移学习：以稀缺数据与有限资源重编程黑盒机器学习模型
计算机视觉与模式识别
2020-07-30 v2 机器学习
机器学习
摘要
当前的迁移学习方法主要基于用目标域数据微调预训练模型。受对抗机器学习（ML）中能够通过数据扰动操纵模型预测的技术启发，本文提出一种新方法——黑盒对抗重编程（BAR），其将训练良好的黑盒ML模型（例如预测API或专有软件）重新用于解决不同的ML任务，尤其在数据稀缺和资源受限的场景中。其原理在于利用高性能但未知的ML模型为迁移学习获得学习能力。利用零阶优化与多标签映射技术，BAR可仅基于黑盒ML模型的输入输出响应对其进行重编程，而无需知晓模型架构或更改任何参数。更重要的是，在有限的医疗数据设置下，在自闭症谱系障碍分类、糖尿病视网膜病变检测和黑色素瘤检测任务中，BAR优于最先进的方法，并取得了与需要完全知晓目标ML模型的原始对抗重编程方法相当的性能。BAR还大幅优于基线迁移学习方法，展示了具有成本效益的手段以及迁移学习的新见解。
引用
@article{arxiv.2007.08714,
title = {Transfer Learning without Knowing: Reprogramming Black-box Machine Learning Models with Scarce Data and Limited Resources},
author = {Yun-Yun Tsai and Pin-Yu Chen and Tsung-Yi Ho},
journal= {arXiv preprint arXiv:2007.08714},
year = {2020}
}