莫忘遗忘之外尚有他物：持续学习的新评价指标
人工智能
2018-11-01 v1 计算机视觉与模式识别
机器学习
神经与进化计算
摘要
持续学习由能够从连续的数据流/任务中持续且自适应地随时间学习的算法组成，使得日益复杂的知识与技能得以增量式发展。由于评估持续学习算法缺乏共识，且研究几乎 exclusively 聚焦于遗忘，这促使我们提出一套更为全面、与具体实现无关的指标体系，以考量若干我们认为在部署真实持续学习 AI 系统时具有实际意义的因素：随时间变化的准确率或性能、向后与向前知识迁移、内存开销以及计算效率。受标准多属性价值理论（Multi-Attribute Value Theory, MAVT）启发，我们进一步提议将这些指标融合为单一分数以便于排序，并在 iCIFAR-100 持续学习基准上以五种持续学习策略评估了我们的方案。
引用
@article{arxiv.1810.13166,
title = {Don't forget, there is more than forgetting: new metrics for Continual Learning},
author = {Natalia Díaz-Rodríguez and Vincenzo Lomonaco and David Filliat and Davide Maltoni},
journal= {arXiv preprint arXiv:1810.13166},
year = {2018}
}