领域知识对机器学习价值的量化视角
机器学习
2021-02-10 v2
摘要
随着机器学习的爆发性普及，各种形式的领域知识在提升学习性能方面发挥着关键作用，尤其在训练数据有限时。然而，从量化视角看，人们对领域知识能在多大程度上影响机器学习任务知之甚少。为增加透明度并严格解释领域知识在机器学习中的作用，我们在知情机器学习的背景下，研究依据其对学习性能的贡献来量化领域知识价值的问题。我们提出一种基于Shapley值的量化方法，将整体学习性能提升公平地归因于不同领域知识。我们还提出蒙特卡洛采样，以多项式时间复杂度近似领域知识的公平价值。我们在MNIST与CIFAR10数据集上进行了将符号领域知识注入半监督学习任务的实验，提供了不同符号知识的量化价值，并严格解释了其如何以测试精度影响机器学习性能。
引用
@article{arxiv.2011.08450,
title = {A Quantitative Perspective on Values of Domain Knowledge for Machine Learning},
author = {Jianyi Yang and Shaolei Ren},
journal= {arXiv preprint arXiv:2011.08450},
year = {2021}
}