面向不平衡自主驾驶任务的大模型在线无类代表连续学习
机器学习
2024-11-06 v2 机器人学
摘要
在自主驾驶领域，即使经过严格训练的模型在面对陌生场景时也可能出现故障。其中一种场景可表述为在线连续学习（Online Analytic Exemplar-Free Continual Learning, OCL）问题，即数据以在线方式流入，模型根据这些流动数据进行更新。Catastrophic forgetting（灾难性遗忘）和数据不平衡是两种主要的 OCL 挑战。为此，本文提出一种分析性无类代表在线连续学习算法（Analytic Exemplar-Free Online Continual Learning, AEF-OCL）。AEF-OCL 利用分析性连续学习原则，并采用基于大型背部网络提取特征的岭回归作为分类器。它通过递归计算解析解来解决 OCL 问题，确保连续学习与其联合学习版本之间的均衡，无需保存任何已使用样本（即无类代表）。此外，我们引入了伪特征生成器（Pseudo-Features Generator, PFG）模块，递归估计每一类的均值和方差。它从与真实特征相同正态分布中对准偏移伪特征进行过采样，从而解决数据不平衡问题。实验结果表明，尽管是无类代表策略，我们的方法在自主驾驶 SODA10M 数据集上击败了各种方法。源代码已公开：https://github.com/ZHUANGHP/Analytic-continual-learning。
引用
@article{arxiv.2405.17779,
title = {Online Analytic Exemplar-Free Continual Learning with Large Models for Imbalanced Autonomous Driving Task},
author = {Huiping Zhuang and Di Fang and Kai Tong and Yuchen Liu and Ziqian Zeng and Xu Zhou and Cen Chen},
journal= {arXiv preprint arXiv:2405.17779},
year = {2024}
}
备注
This paper is to be published in IEEE Transactions on Vehicular Technology