一种用于终身学习系统表征的领域无关方法
机器学习
2023-01-24 v1 计算机视觉与模式识别
机器人学
摘要
尽管近年来机器学习技术取得了进展，但最先进的系统缺乏对“真实世界”事件的鲁棒性，其中已部署系统遇到的输入分布和任务将不限于原始训练上下文，而是需要在部署时适应新的分布和任务。这一关键差距可通过开发具备以下能力的“终身学习”(Lifelong Learning)系统来弥补：1) 持续学习，2) 迁移与适应，3) 可扩展性。遗憾的是，改进这些能力的努力通常被视为独立的研究领域，被分别评估，而未考虑每种单独能力对系统其他方面的影响。我们转而提出一种整体方法，使用一套指标和一个评估框架，以独立于特定领域或系统技术的原则性方式评估终身学习。通过五个案例研究，我们表明这套指标能够为多样且复杂的终身学习系统的开发提供指导。我们强调了所提出的指标套件如何量化终身学习系统开发过程中存在的性能权衡——既包括被广泛讨论的稳定性-可塑性困境，也包括新提出的样本高效学习与鲁棒学习之间的关系。此外，我们就指标的公式化与使用提出建议，以指导终身学习系统的持续开发并评估其未来的进展。
引用
@article{arxiv.2301.07799,
title = {A Domain-Agnostic Approach for Characterization of Lifelong Learning Systems},
author = {Megan M. Baker and Alexander New and Mario Aguilar-Simon and Ziad Al-Halah and Sébastien M. R. Arnold and Ese Ben-Iwhiwhu and Andrew P. Brna and Ethan Brooks and Ryan C. Brown and Zachary Daniels and Anurag Daram and Fabien Delattre and Ryan Dellana and Eric Eaton and Haotian Fu and Kristen Grauman and Jesse Hostetler and Shariq Iqbal and Cassandra Kent and Nicholas Ketz and Soheil Kolouri and George Konidaris and Dhireesha Kudithipudi and Erik Learned-Miller and Seungwon Lee and Michael L. Littman and Sandeep Madireddy and Jorge A. Mendez and Eric Q. Nguyen and Christine D. Piatko and Praveen K. Pilly and Aswin Raghavan and Abrar Rahman and Santhosh Kumar Ramakrishnan and Neale Ratzlaff and Andrea Soltoggio and Peter Stone and Indranil Sur and Zhipeng Tang and Saket Tiwari and Kyle Vedder and Felix Wang and Zifan Xu and Angel Yanguas-Gil and Harel Yedidsion and Shangqun Yu and Gautam K. Vallabha},
journal= {arXiv preprint arXiv:2301.07799},
year = {2023}
}
备注
To appear in Neural Networks