通过结合深度学习与概率逻辑实现自监督的自监督
机器学习
2020-12-24 v1 机器学习
摘要
大规模标注训练样本是机器学习中一个长期存在的挑战。自监督方法通过利用先验知识自动生成带噪声的标注样本，来弥补直接监督的不足。深度概率逻辑（DPL）是一个统一的自监督学习框架，它将未知标签表示为潜变量，并利用概率逻辑整合多种自监督，通过变分 EM 端到端地训练深度神经网络。尽管 DPL 能成功结合预先指定的自监督，但手动设计自监督以达到高准确率可能仍然繁琐且具有挑战性。在本文中，我们提出自监督的自监督（S4），它为 DPL 增加了自动学习新自监督的能力。从一个初始“种子”开始，S4 迭代地使用深度神经网络提出新的自监督。这些新自监督或直接添加（一种结构化的自训练形式），或由人类专家验证（如基于特征的主动学习）。实验表明，S4 能够自动提出准确的自监督，并且通常仅用极少的人力就能接近监督方法的准确率。
引用
@article{arxiv.2012.12474,
title = {Self-supervised self-supervision by combining deep learning and probabilistic logic},
author = {Hunter Lang and Hoifung Poon},
journal= {arXiv preprint arXiv:2012.12474},
year = {2020}
}
备注
12 pages, 2 figures