结合概率逻辑与深度学习的自监督学习
机器学习
2021-07-28 v1 人工智能
摘要
深度学习已在各种应用任务中被证明有效，但其适用性受限于对标注样本的依赖。自监督学习已成为缓解监督瓶颈的一个有前景的方向，但现有工作侧重于利用无标注数据中的共现关系进行任务无关的表示学习，如掩码语言模型预训练所示。在本章中，我们探索任务特定的自监督，其利用领域知识为最终应用自动标注含噪训练样本，或通过引入标注函数标注单个实例，或对相互依赖的标签决策施加约束。我们首先提出深度概率逻辑(DPL)，它通过组合概率逻辑与深度学习，为任务特定的自监督提供了一个统一框架。DPL将未知标签表示为潜变量，并利用概率逻辑融入多样化的自监督，通过变分EM端到端地训练深度神经网络。接下来，我们提出自监督的自监督(S4)，为DPL增添了自动学习新自监督的能力。从初始种子自监督出发，S4迭代地使用深度神经网络提出新的自监督。这些新自监督或直接添加(一种结构化自训练形式)，或由人类专家验证(如基于特征的主动学习)。在生物医学机器阅读和各种文本分类任务等真实世界应用上的实验表明，任务特定的自监督能有效利用领域专长，并常以极少的人力达到监督方法的精度。
引用
@article{arxiv.2107.12591,
title = {Combining Probabilistic Logic and Deep Learning for Self-Supervised Learning},
author = {Hoifung Poon and Hai Wang and Hunter Lang},
journal= {arXiv preprint arXiv:2107.12591},
year = {2021}
}
备注
Book chapter. arXiv admin note: substantial text overlap with arXiv:2012.12474, arXiv:1808.08485, arXiv:2008.12878