FIESTA：利用自适应bandit算法快速识别最优模型
机器学习
2019-07-01 v1 计算与语言
机器学习
摘要
我们提出FIESTA，一种模型选择方法，可显著减少从大量候选模型中可靠识别最优性能所需的计算资源。尽管已知基于单一随机种子选择的模型评估会产生不可靠比较，基于随机种子单次选择比较模型评估仍是常见做法。我们表明可靠模型选择还需基于多个训练-测试划分的评估（与许多共享任务中的常见做法相反）。利用统计学文献中的bandit理论，我们可自适应确定用于评估各模型的数据划分与随机种子的适当数量，将计算资源集中于有前景模型的评估，同时避免对性能较低模型浪费评估。此外，我们用户友好的Python实现提供了正确选择最优模型的置信保证。我们通过从8种目标依赖情感分析方法中选优来评估算法，所用模型评估次数远少于当前模型选择方法。
引用
@article{arxiv.1906.12230,
title = {FIESTA: Fast IdEntification of State-of-The-Art models using adaptive bandit algorithms},
author = {Henry B. Moss and Andrew Moore and David S. Leslie and Paul Rayson},
journal= {arXiv preprint arXiv:1906.12230},
year = {2019}
}
备注
ACL 2019. Code available at: https://github.com/apmoore1/fiesta