具有结构化类别几何的无数据/稀疏数据 Softmax 参数估计
机器学习
2018-08-29 v2 计算机视觉与模式识别
机器学习
系统与控制
信号处理
摘要
本文考虑在仅有很少或没有标注训练数据、但具备关于类别标签对数几率边界相对几何的先验信息时的 softmax 参数估计。研究表明，‘无数据’softmax 模型综合对应于求解一个参数方程的线性系统，其中期望的主导类别对数几率边界通过分解输入特征空间的凸多面体进行编码。当可解时，该线性方程仅利用类别边界多面体规格便给出闭式 softmax 参数解族。这使得 softmax 参数学习无需昂贵的暴力数据采样与数值优化即可实现。该线性方程也可适配于稀疏数据情形下的约束最大似然估计。由于从某些多面体规格导出的线性参数方程也可能不存在解，因此本文还表明：在 m 个凸可分类别上存在着无法使用 m 类 softmax 模型学习其对数几率边界的概率分类问题。
引用
@article{arxiv.1806.00728,
title = {Data-Free/Data-Sparse Softmax Parameter Estimation with Structured Class Geometries},
author = {Nisar Ahmed},
journal= {arXiv preprint arXiv:1806.00728},
year = {2018}
}
备注
Final version accepted to IEEE Signal Processing Letters (double column), submitted July 21, 2018