基于高斯耦合 Softmax 层的生成与判别模型混合方法
机器学习
2023-05-11 v1 计算机视觉与模式识别
摘要
生成模型在分类任务中具有可利用无监督数据与置信度校准等优势，而判别模型在模型结构与学习算法简单性以及性能表现上优于生成模型。本文提出一种在单一神经网络（NN）中训练判别与生成模型混合体的方法，其兼具两类模型特性。核心思想为高斯耦合 softmax 层，即带有与高斯分布耦合的 softmax 激活函数的全连接层。该层可嵌入基于 NN 的分类器中，使分类器能同时估计类后验分布与类条件数据分布。我们证明了所提混合模型可应用于半监督学习与置信度校准。
引用
@article{arxiv.2305.05912,
title = {A Hybrid of Generative and Discriminative Models Based on the Gaussian-coupled Softmax Layer},
author = {Hideaki Hayashi},
journal= {arXiv preprint arXiv:2305.05912},
year = {2023}
}
备注
10 pages, 13 figures