具有高维特征的贝叶斯分类与回归

本论文回应了在回归和分类问题中使用大量（例如数千个）特征所带来的挑战。高维特征出现在两种情况中。一种是当可获得高维测量值时，例如由微阵列技术产生的基因表达数据。出于计算或其他原因，人们在对此类数据建模时，可能会基于某些度量（如与训练数据中响应变量的相关性）查看特征与预测响应变量的相关程度，从而仅选择一小部分特征子集。尽管这种方法非常常用，但它会使响应变量看起来比实际情况更具可预测性。在第 2 章中，我们提出了一种贝叶斯方法来避免这种选择偏差，并将其应用于朴素贝叶斯模型和混合模型。当我们考虑高阶交互作用时，也会出现高维特征。参数数量将随所考虑阶数的增加呈指数增长。在第 3 章中，我们利用许多源自高阶交互作用的预测变量对所有训练案例具有相同值这一事实，提出了一种将一组参数压缩为单个参数的方法。压缩后的参数数量可能在考虑最高可能阶数之前就已收敛。我们将此压缩方法应用于逻辑序列预测模型和逻辑分类模型。我们在两章中均使用模拟数据和真实数据来测试我们的方法。