通信高效的分布式统计推断
机器学习
2016-11-08 v3 信息论
机器学习
math.IT
最优化与控制
统计方法学
摘要
我们提出了一个通信高效的替代似然（CSL）框架，用于解决分布式统计推断问题。CSL为全局似然提供了一个通信高效的替代，可用于低维估计、高维正则化估计和贝叶斯推断。对于低维估计，CSL可证明地改进了朴素的平均方案，并有助于构建置信区间。对于高维正则化估计，CSL产生了一个具有受控通信代价的极小极大最优估计量。对于贝叶斯推断，CSL可用于形成一个通信高效的准后验分布，该分布收敛于真实后验。这种准后验过程即使在非分布式环境下也能显著提高MCMC算法的计算效率。我们给出了理论分析和实验，以探索CSL近似的性质。
引用
@article{arxiv.1605.07689,
title = {Communication-Efficient Distributed Statistical Inference},
author = {Michael I. Jordan and Jason D. Lee and Yun Yang},
journal= {arXiv preprint arXiv:1605.07689},
year = {2016}
}