宽神经网络的知情学习：收敛性、泛化性与采样复杂度
机器学习
2022-07-05 v1
摘要
通过将领域知识与标注样本相结合，知情机器学习已崭露头角，用于提升广泛应用的的学习性能。然而，关于所注入领域知识作用的严格理解仍鲜有探索。本文考虑一种过参数化且将领域知识整合进训练目标函数的知情深度神经网络（DNN），并研究领域知识如何以及为何有益于性能。具体地，我们定量展示了知情学习中领域知识的两方面益处——正则化基于标签的监督以及补充标注样本——并揭示了在总体风险界中标签与知识不完美性之间的权衡。基于理论分析，我们提出一种广义知情训练目标，以更好地利用知识益处并平衡标签与知识的不完美性，该目标由总体风险界所验证。我们对采样复杂度的分析为如何选择知情学习的超参数提供了启示，并进一步论证了知识知情学习的优势。
引用
@article{arxiv.2207.00751,
title = {Informed Learning by Wide Neural Networks: Convergence, Generalization and Sampling Complexity},
author = {Jianyi Yang and Shaolei Ren},
journal= {arXiv preprint arXiv:2207.00751},
year = {2022}
}
备注
Accepted by ICML'22