CLEVA-Compass：促进研究透明性与可比性的持续学习评估指南针
机器学习
2022-02-02 v2
摘要
持续机器学习的最先进水平是什么？尽管对于主流的静态基准而言这是一个自然的问题，但以终身方式训练系统的概念在设置与评估方面带来了大量额外的挑战。后者最近引发了对突出的以算法为中心的视角和评估协议过于狭窄的日益增多的批评，导致了若干尝试以构建有利于特定期望属性的指南或质疑普遍假设的有效性。在本工作中，我们脱离这种思维定式，并论证精确表述期望属性这一目标是一个不适定问题，因为多样的应用可能总是需要不同的场景。相反，我们引入了持续学习评估指南针（Continual Learning EValuation Assessment Compass）：CLEVA-Compass。该指南针提供了可视化手段，既可识别各方法实际如何被报告，也可将各项工作同时置于更广阔的文献图景中。除了以近期可复现性趋势的精神促进紧凑的规范说明外，它还提供了一个直观图表以理解各系统的优先级、它们之间的相似之处，以及迈向公平比较所缺失的要素。
引用
@article{arxiv.2110.03331,
title = {CLEVA-Compass: A Continual Learning EValuation Assessment Compass to Promote Research Transparency and Comparability},
author = {Martin Mundt and Steven Lang and Quentin Delfosse and Kristian Kersting},
journal= {arXiv preprint arXiv:2110.03331},
year = {2022}
}
备注
International Conference on Learning Representations (ICLR) 2022