基于凸优化的海量 $p$值加权挖掘
摘要
在富含数据的学科（例如计算基因组学和观测宇宙学）中，研究人员通常希望挖掘大量的 值以寻找显著效应，同时控制误发现率或族错误率。越来越多的研究者还希望通过上调权重来优先处理某些假设（例如那些被认为具有较大效应量的假设），并对底层挖掘施加约束，例如沿特定序列的单调性。我们引入了 Princessp，一种通过约束凸优化进行加权多重检验的原则性方法。我们的方法巧妙地允许人们通过上调权重优先处理某些假设，并通过下调权重贬低其他假设，同时约束挖掘过程中涉及的底层权重。当 值源自单调似然比族（如高斯均值模型）时，新方法能够精确求解一个重要的优化权重问题，该问题此前被认为非凸且计算上不可行。我们的方法可扩展到海量数据集规模。我们在一系列标准基因组学数据集上展示了 Princessp 的应用，并与几种先前的“标准”方法进行了比较。Princessp 既提供了操作的简便性，也具备扩展到极大问题规模的能力。该方法作为开源软件可从 http://github.com/dobriban/pvalue_weighting_matlab 获取。
引用
@article{arxiv.1603.05334,
title = {Weighted mining of massive collections of $p$-values by convex optimization},
author = {Edgar Dobriban},
journal= {arXiv preprint arXiv:1603.05334},
year = {2017}
}
备注
This is an entirely rewritten version of the paper. The title of the paper, the name of the method, and the introduction have been changed, with the goal of making the paper more accessible and appealing to practitioners. New sections on monotone likelihood ratio families and two-sided tests have been added, which expand the scope of the method