通过元验证调优随机森林以优化预测区间
机器学习
2018-02-12 v1 机器学习
摘要
近期研究表明，调优预测模型可提升预测精度，且随机森林可用于构造预测区间。然而据我们所知，尚无研究探讨是否需要以及应如何为优化预测区间而调优随机森林——本文旨在填补此空白。我们探索一种将有效穷举搜索与单一随机森林参数上的验证技术相结合的调优方法。本文考察八种验证技术中哪些有益于调优，即哪些能自动选定构建可靠且比默认配置宽度更小预测区间的随机森林配置。此外，我们提出并验证三种元验证技术以确定哪些有益，即那些能自动选定有益验证技术者。本研究使用来自工业合作伙伴（Keymind Inc.）与Tukutuku研究项目的数据，分别涉及发布后缺陷预测与Web应用工作量估计。研究结果表明：i）默认配置经常不可靠；ii）多数验证技术（包括先前成功采用的如50/50保留法与bootstrap）在大多数情形下适得其反；iii）75/25保留法元验证技术始终有益，即它避免了验证技术可能产生的适得其反效应。
引用
@article{arxiv.1801.07194,
title = {Optimizing Prediction Intervals by Tuning Random Forest via Meta-Validation},
author = {Sean Bayley and Davide Falessi},
journal= {arXiv preprint arXiv:1801.07194},
year = {2018}
}