DECoVaC：具有可控变异分量成分的试验设计
统计方法学
2019-09-27 v1 人工智能
摘要
机器学习中可复现研究近来取得了令人欣喜的丰富进展：工作流、透明度以及验证与测试性能的统计分析。我们基于这些努力并进一步推进。我们提供了一种基于线性混合模型的原理性实验设计方法，用于研究和分离机器学习实验中多个变异因素的影响。该方法可考虑架构、优化器、超参数、有意的随机化以及重跑中无意的非确定性的影响。我们通过在 miniImagenet 数据集上分析 Matching Networks、Prototypical Networks 和 TADAM 来阐明该方法。
引用
@article{arxiv.1909.09859,
title = {DECoVaC: Design of Experiments with Controlled Variability Components},
author = {Thomas Boquet and Laure Delisle and Denis Kochetkov and Nathan Schucher and Parmida Atighehchian and Boris Oreshkin and Julien Cornebise},
journal= {arXiv preprint arXiv:1909.09859},
year = {2019}
}