微监督扰动学习：基于表示概率分布的视角
机器学习
2021-10-07 v2 机器学习
摘要
现有基于欧氏距离的表示学习方法在广泛条件下表现出不稳定性。此外，标签的稀缺性与高成本促使我们探索更具表达力的表示学习方法，使其尽可能少地依赖标签。为解决这些问题，本文首次将小扰动思想引入基于表示概率分布的表示学习模型。仅依赖每个簇两个标签的正向小扰动信息（SPI）被用于刺激表示概率分布，进而提出两个变体模型以微调RBM的期望表示分布，即微监督扰动GRBM（Micro-DGRBM）与微监督扰动RBM（Micro-DRBM）模型。在同一簇内最小化SPI的Kullback-Leibler（KL）散度，以促进表示概率分布在对比散度（CD）学习中变得更相似。相反，在不同簇间最大化SPI的KL散度，以迫使表示概率分布在CD学习中变得更不相似。为探索连续SPI刺激下的表示学习能力，我们提出了基于Micro-DGRBM与Micro-DRBM模型的深度微监督扰动学习（Micro-DL）框架，并与无外部刺激的类同深度结构进行比较。实验结果表明，所提出的深度Micro-DL架构在聚类方面优于基线方法、最相关的浅层模型及深度框架。
引用
@article{arxiv.2003.06321,
title = {Micro-supervised Disturbance Learning: A Perspective of Representation Probability Distribution},
author = {Jielei Chu and Jing Liu and Hongjun Wang and Meng Hua and Zhiguo Gong and Tianrui Li},
journal= {arXiv preprint arXiv:2003.06321},
year = {2021}
}
备注
14 pages