利用简单模型已有知识增强其性能
机器学习
2020-06-23 v3 机器学习
摘要
近期出于多种原因人们对提升简单模型性能产生了兴趣，例如可解释性、从小数据稳健学习、在内存受限环境下的部署以及环境考量。在本文中，我们提出一种新颖方法 SRatio，其可利用高性能复杂模型（即深度神经网络、提升树、随机森林）的信息，为复杂度低得多的潜在低性能简单模型（如决策树或浅层网络）重新加权训练数据集，从而提升其性能。我们的方法还利用了简单模型的逐样本难度估计，而先前工作主要考虑复杂模型的置信度/预测，并未如此，因此在概念上是新颖的。此外，我们将附着探针到神经网络中间层的概念推广并形式化到其他常用分类器，并将其纳入我们的方法。这些贡献的益处体现在实验中：在 6 个 UCI 数据集和 CIFAR-10 上，我们在大多数情况（27 例中的 16 例）优于竞争对手，并在其余情况持平最佳性能。事实上，在少数情况下我们甚至接近复杂模型的性能。我们还进行了进一步实验以验证论断并从直观上理解方法为何有效。在理论上，我们通过证明简单模型使用我们的加权所最小化的加权损失上界复杂模型的损失，来为我们的方法提供动机。
引用
@article{arxiv.1905.13565,
title = {Enhancing Simple Models by Exploiting What They Already Know},
author = {Amit Dhurandhar and Karthikeyan Shanmugam and Ronny Luss},
journal= {arXiv preprint arXiv:1905.13565},
year = {2020}
}
备注
Accepted to ICML 2020