基于伊辛模型近似的无监督集成学习及其在表型预测中的应用
机器学习
2018-10-16 v1 机器学习
摘要
无监督集成学习长期以来是一个有趣且具有挑战性的问题，近年来随着各类应用中众包需求的增长而日益突出。本文提出一种新方法——基于伊辛模型近似的无监督集成学习（unElisa），该方法将剪枝步骤与预测步骤相结合。我们关注二分类情形，并使用伊辛模型刻画集成与潜在真实分类器之间的相互作用。观测分类器与真实分类器之间存在边表示直接依赖，而不存在边则表示对应分类器不提供额外信息而应被剔除。这一观察引出了剪枝步骤，其关键在于恢复真实分类器的邻域。我们证明，在高维设定下，通过执行节点wise的 正则化逻辑回归，可以以指数衰减的误差成功恢复该邻域。剪枝后的集成使我们能够获得贝叶斯分类器的一致估计用于预测。我们还提出一种增强的多数投票版本，通过反转剪枝集成中某一子组给出的所有标签来实现。我们通过大量数值实验以及使用来自 Partners Healthcare System 的数据在基于电子健康记录（EHR）的类风湿关节炎（RA）表型预测上的应用，证明了方法的有效性。
引用
@article{arxiv.1810.06376,
title = {Unsupervised Ensemble Learning via Ising Model Approximation with Application to Phenotyping Prediction},
author = {Luwan Zhang and Tianrun Cai},
journal= {arXiv preprint arXiv:1810.06376},
year = {2018}
}