ChaLearn AutoDL 2019挑战赛的获胜方案与赛后分析
机器学习
2022-01-12 v1 人工智能
摘要
本文报道ChaLearn的AutoDL挑战赛系列的结果与赛后分析，该系列挑战赛梳理了大量在各种设定下提出但缺乏公平比较的深度学习（DL）自动机器学习（AutoML）方案。所有输入数据模态（时间序列、图像、视频、文本、表格）均被格式化为张量，所有任务均为多标签分类问题。代码提交在隐藏任务上执行，且时间和计算资源有限，从而推动能够快速得出结果的方案。在此设定下，DL方法占主导，尽管流行的神经架构搜索（NAS）并不实用。方案依赖于微调的预训练网络，其架构与数据模态匹配。赛后测试未显示出超出规定时间限制的改进。尽管没有哪个组件特别原创或新颖，但出现了一种高层模块化组织，包含“元学习器”、“数据摄入器”、“模型选择器”、“模型/学习器”和“评估器”。这种模块化支持了消融研究，揭示了（平台外）元学习、集成和高效数据管理的重要性。基于异构模块组合的实验进一步证实了获胜方案的（局部）最优性。我们的挑战赛遗产包括一个永久基准（http://autodl.chalearn.org）、获胜者开源代码以及一个免费的“AutoDL自助服务”。
引用
@article{arxiv.2201.03801,
title = {Winning solutions and post-challenge analyses of the ChaLearn AutoDL challenge 2019},
author = {Zhengying Liu and Adrien Pavao and Zhen Xu and Sergio Escalera and Fabio Ferreira and Isabelle Guyon and Sirui Hong and Frank Hutter and Rongrong Ji and Julio C. S. Jacques Junior and Ge Li and Marius Lindauer and Zhipeng Luo and Meysam Madadi and Thomas Nierhoff and Kangning Niu and Chunguang Pan and Danny Stoll and Sebastien Treguer and Jin Wang and Peng Wang and Chenglin Wu and Youcheng Xiong and Arbe r Zela and Yang Zhang},
journal= {arXiv preprint arXiv:2201.03801},
year = {2022}
}
备注
The first three authors contributed equally; This is only a draft version