将高维回归转化为高维条件密度估计
统计方法学
2018-06-12 v1 机器学习
摘要
在天文学和经济学等领域，对非参数条件密度估计器（CDEs）的需求日益增长。例如，在天文学中，利用完整条件密度而非回归（即条件均值）估计，可显著改进对决定宇宙演化参数的估计。更一般地，在标准回归中，当响应变量分布具有多模态、不对称或异方差噪声等更复杂情况时，其预测性能不足。然而，高维推断的许多工作仅关注回归和分类，而密度估计的研究滞后。本文提出FlexCode，一种完全非参数的条件密度估计方法，将CDE重新表述为一个非参数正交级数问题，其中展开系数通过回归估计。采用此方法，借助高维回归的成功，可在高维中高效估计条件密度而不仅仅是期望。根据回归过程的选择，我们的方法能适应各种具有不同数据结构（例如大量无关分量和非线性流形结构）以及不同数据类型（例如函数型数据、混合数据类型和样本集）的高维挑战性设置。我们研究了所提方法的理论与经验性能，并在模拟及真实世界数据（如测光星系数据、Twitter数据和星系团视线速度）上将其与传统条件密度估计器进行比较。
引用
@article{arxiv.1704.08095,
title = {Converting High-Dimensional Regression to High-Dimensional Conditional Density Estimation},
author = {Rafael Izbicki and Ann B. Lee},
journal= {arXiv preprint arXiv:1704.08095},
year = {2018}
}