用于神经网络的更好的条件密度估计
机器学习
2016-06-09 v1
摘要
绝大多数神经网络文献侧重于在给定特征向量的条件下，预测一组响应变量的点值。在许多情况下，我们需要对响应变量的完整联合条件分布进行建模，而不是简单地做出点预测。在本文中，我们提出了两种用于此类条件密度估计（CDE）的新方法：多尺度网络（MSNs）和 CDE 趋势滤波。多尺度网络通过将密度分解为一系列半空间并学习每次分割的布尔概率，将 CDE 回归任务转化为层次分类任务。CDE 趋势滤波将 阶图趋势滤波惩罚应用于多项式分类器网络的未归一化 logits，图中的每条边对应于密度离散化版本上的一个相邻点。我们在一个模拟数据集和三个真实世界数据集上，将这两种方法与普通多项式分类器网络和混合密度网络（MDNs）进行了比较。结果表明这两种方法是互补的：MSNs 在单特征高数据量机制下表现良好，而 CDE-TF 则非常适合以过拟合为主要担忧的单特征少样本场景。
引用
@article{arxiv.1606.02321,
title = {Better Conditional Density Estimation for Neural Networks},
author = {Wesley Tansey and Karl Pichotta and James G. Scott},
journal= {arXiv preprint arXiv:1606.02321},
year = {2016}
}
备注
12 pages, 3 figures, code available soon