隐规则游戏:一种面向机器学习的新基准挑战
机器学习
2022-07-22 v1
摘要
随着机器学习(ML)与社会结合愈发紧密,若欲负责任地加以应用,亟需更好地刻画 ML 的优势与局限。现有 ML 基准环境(如棋盘与视频游戏)为进展提供了明确基准,但其所含任务往往复杂,且任务特征如何贡献于机器学习器的整体难度常不明确。同样,若无对任务特征如何影响难度的系统评估,便难以在不同基准环境间建立有意义的性能关联。我们引入一种新颖基准环境,提供海量 ML 挑战,并支持精确考察任务要素如何影响实际难度。该工具将学习任务构建为“清盘游戏”,我们称之为隐规则游戏(GOHR)。该环境包含一个富有表达力的规则语言以及一个可本地部署的受控服务器环境。我们提出一组基准规则学习任务,并计划为有意尝试学习我们规则的研究者维护性能排行榜。GOHR 通过允许对任务进行精细、可控的修改来补充现有环境,使实验者能更好理解给定学习任务各面向如何贡献于其对任意 ML 算法的实际难度。
引用
@article{arxiv.2207.10218,
title = {The Game of Hidden Rules: A New Kind of Benchmark Challenge for Machine Learning},
author = {Eric Pulick and Shubham Bharti and Yiding Chen and Vladimir Menkov and Yonatan Mintz and Paul Kantor and Vicki M. Bier},
journal= {arXiv preprint arXiv:2207.10218},
year = {2022}
}
备注
9 pages, 5 figures. Additional documentation information available at http://sapir.psych.wisc.edu:7150/w2020/captive.html