AI 智能体记忆与泛化能力分析：持续学习者是否鲁棒？
机器学习
2024-01-11 v2 人工智能
摘要
在持续学习（CL）中，AI 智能体（如自动驾驶车辆或机器人）于动态环境下从非平稳数据流学习。对此类应用的实际部署，保证对未见环境的鲁棒性同时保留过往经验十分重要。本文提出一种新颖 CL 框架，以在保留过去知识的同时实现对动态环境的鲁棒泛化。所考虑的 CL 智能体使用容量受限记忆保存先前观测的环境信息，以缓解遗忘问题。随后，从记忆中采样数据点以估计环境变化上的风险分布，从而获得对未见变化鲁棒的 predictor。我们理论上分析了所提框架的泛化与记忆性能。该分析展示了记忆与泛化随记忆大小的权衡。实验表明，所提算法在所有环境中优于基于记忆的 CL 基线，同时显著提升了在未见目标环境中的泛化性能。
引用
@article{arxiv.2309.10149,
title = {Analysis of the Memorization and Generalization Capabilities of AI Agents: Are Continual Learners Robust?},
author = {Minsu Kim and Walid Saad},
journal= {arXiv preprint arXiv:2309.10149},
year = {2024}
}
备注
Accepted to ICASSP 2024