基于变分贝叶斯推断与最大不确定性正则化的半监督学习
机器学习
2021-03-22 v2 人工智能
摘要
我们提出两种改进半监督学习（semi-supervised learning, SSL）的通用方法。第一种将权重扰动（weight perturbation, WP）整合进现有的基于“一致性正则化”（consistency regularization, CR）的方法中。我们通过利用变分贝叶斯推断（variational Bayesian inference, VBI）来实现 WP。第二种方法提出一种称为“最大不确定性正则化”（maximum uncertainty regularization, MUR）的新型一致性损失。尽管大多数一致性损失作用于各数据点邻域内的扰动，MUR 主动搜索位于该区域之外、导致最不确定类别预测的“虚拟”点。这使得 MUR 能够在输入-输出流形上更广阔的区域施加平滑性。我们的实验表明，当各类基于 CR 的方法与 VBI 或 MUR 或两者结合时，分类误差均有明显改善。
引用
@article{arxiv.2012.01793,
title = {Semi-Supervised Learning with Variational Bayesian Inference and Maximum Uncertainty Regularization},
author = {Kien Do and Truyen Tran and Svetha Venkatesh},
journal= {arXiv preprint arXiv:2012.01793},
year = {2021}
}
备注
Accepted to AAAI 2021