知识即不变性——知识增强机器学习的历程与展望
机器学习
2020-12-22 v1
摘要
机器学习研究正处于转折点。尽管监督式深度学习以惊人的速度征服了该领域，并展现出以空前精度解决推断问题的能力，但若将学习视为获取关于某一主题或问题的知识的过程，它仍名不副实。当今深度学习模型的主要弱点例如缺乏对环境变化的适应性，或无法执行其所训练任务之外的其他类型任务。尽管如何克服这些局限仍不明朗，但可以观察到机器学习社区内的范式转变，研究兴趣正从提升高度参数化模型对极特定任务的性能，转向在高度多样化领域中运用机器学习算法。这一研究问题可从不同角度切入。例如，Informed AI 领域研究通过正则化、数据增强或后处理等技术将领域知识注入机器学习模型的问题。另一方面，近年来大量工作聚焦于开发本身就能保证一定程度针对所处领域或问题的通用性与不变性的模型。因此，这些工作并非探究如何向机器学习模型提供领域特定知识，而是探索使模型具备自行获取知识能力的方法。本白皮书对该机器学习研究中新兴领域进行了介绍与讨论。为此，它回顾了知识在机器学习中的作用，并讨论其与不变性概念的关系，随后给出该领域的文献综述。
引用
@article{arxiv.2012.11406,
title = {Knowledge as Invariance -- History and Perspectives of Knowledge-augmented Machine Learning},
author = {Alexander Sagel and Amit Sahu and Stefan Matthes and Holger Pfeifer and Tianming Qiu and Harald Rueß and Hao Shen and Julian Wörmann},
journal= {arXiv preprint arXiv:2012.11406},
year = {2020}
}