Mix and Match：一种用于从混合分布学习模型的乐观树搜索方法
机器学习
2020-07-16 v5 信息论
机器学习
math.IT
摘要
我们考虑一个协变量偏移问题：针对同一学习问题可获取若干不同的训练数据集，以及一个可能不同于所有单独训练分布的小型验证集。该协变量偏移部分由数据集中未观测特征引起。因此，目标是在训练数据集上找到最佳混合分布（仅含已观测特征），使得使用该混合分布训练学习算法具有最佳验证性能。我们提出的算法 将随机梯度下降(SGD)与乐观树搜索及模型复用（用来自不同混合分布的样本演化部分训练的模型）结合于混合空间上以完成此任务。我们给出了在给定 SGD 评估总预算下，算法恢复最优混合分布的简单后悔保证。最后，我们在两个真实世界数据集上验证了算法。
引用
@article{arxiv.1907.10154,
title = {Mix and Match: An Optimistic Tree-Search Approach for Learning Models from Mixture Distributions},
author = {Matthew Faw and Rajat Sen and Karthikeyan Shanmugam and Constantine Caramanis and Sanjay Shakkottai},
journal= {arXiv preprint arXiv:1907.10154},
year = {2020}
}
备注
New from previous version: Adds Acknowledgements section