矩方法嵌入约束及其在半监督学习中的应用
计算机视觉与模式识别
2024-04-30 v1
摘要
具有线性+softmax 最终层的判别式深度学习模型存在一个问题：潜在空间仅预测条件概率 ，而不预测完整的联合分布 ，这需要生成式方法。条件概率无法检测异常值，导致 softmax 网络对异常值敏感。这加剧了模型过度自信的问题，影响许多任务，如幻觉、混杂偏差和对大数据集的依赖。为解决此问题，我们引入了一种基于矩方法 (MoM) 的新型嵌入约束。我们研究了从一阶到四阶超协方差矩阵的多项式矩的使用。此外，我们利用此嵌入约束训练了一个轴对齐高斯混合模型 (AAGMM) 最终层，该层不仅学习潜在空间的条件分布，还学习其联合分布。我们将此方法应用于半监督图像分类领域，通过我们的技术扩展了 FlexMatch。我们发现，我们的 MoM 约束与 AAGMM 层能够匹配 FlexMatch 报告的准确率，同时还能建模联合分布，从而降低对异常值的敏感性。我们还提出了一种基于马氏距离的初步异常值检测策略，并讨论了未来的改进方向。代码可在以下网址获取：\url{https://github.com/mmajurski/ssl-gmm}
引用
@article{arxiv.2404.17978,
title = {A Method of Moments Embedding Constraint and its Application to Semi-Supervised Learning},
author = {Michael Majurski and Sumeet Menon and Parniyan Farvardin and David Chapman},
journal= {arXiv preprint arXiv:2404.17978},
year = {2024}
}