面向人在回路机器学习应用开发的定量过拟合管理：基于 ease.ml/meter
机器学习
2019-06-07 v3 数据库
软件工程
机器学习
摘要
简化机器学习（ML）应用开发，包括分布式计算、编程接口、资源管理、模型选择等，近期引起了广泛关注。这些研究工作显著提升了开发 ML 模型的效率与自动化程度。在本文中，我们朝自动化质量管理这一正交方向迈出了第一步，面向人在回路的 ML 应用开发。我们构建了 ease.ml/meter，一个能够在 ML 应用开发全生命周期中自动检测并度量过拟合程度的系统。ease.ml/meter 返回具有强概率保证的过拟合信号，开发者可据此采取适当措施。特别地，ease.ml/meter 针对关于期望验证集与测试集大小的简单但非平凡问题提供了原则性指导，这类问题是开发者最常提出的问题之一。ML 应用开发通常是一个连续过程，这一事实进一步恶化了情况：由于多次访问，验证集和测试集的统计功效会迅速丧失，尤其在存在自适应分析时。ease.ml/meter 通过利用一系列新技术与优化应对这些挑战，在不妥协概率保证的前提下实现了实际可处理的数据规模。我们介绍了 ease.ml/meter 的设计与实现细节，以及对其有效性的详细理论分析与经验评估。
引用
@article{arxiv.1906.00299,
title = {Quantitative Overfitting Management for Human-in-the-loop ML Application Development with ease.ml/meter},
author = {Frances Ann Hubis and Wentao Wu and Ce Zhang},
journal= {arXiv preprint arXiv:1906.00299},
year = {2019}
}