TADIL：基于Transformer最近质心嵌入的任务ID推断实现任务无关域增量学习
机器学习
2023-06-22 v1 计算机视觉与模式识别
摘要
机器学习（ML）模型难以应对随时间或跨域变化的数据，如由噪声、遮挡、光照或频率等因素引起的变化，而人类能够从这类非独立同分布数据中学习。因此，持续学习（CL）方法不可或缺，尤其是域增量学习。本文提出了一种在无监督情况下识别域增量学习场景中任务的新流程。该流程包含四个步骤。首先，我们使用现有的基于transformer的模型从原始数据获取基础嵌入。其次，我们根据嵌入密度之间的相似性进行分组，以获得各聚类质心的最近点。第三，我们仅使用这些少数点训练一个增量任务分类器。最后，我们利用该流程轻量的计算需求，设计了一种算法，借助任务分类器和漂移检测器在线决定何时学习新任务。我们使用SODA10M真实世界驾驶数据集和多种CL策略进行实验。我们证明，无论是在假设任务边界的经典实验中，还是在需要即时检测新任务的更现实的任务无关场景中，采用我们流程的这些CL策略性能均可与基于真实任务标签的方法相媲美。
引用
@article{arxiv.2306.11955,
title = {TADIL: Task-Agnostic Domain-Incremental Learning through Task-ID Inference using Transformer Nearest-Centroid Embeddings},
author = {Gusseppe Bravo-Rocca and Peini Liu and Jordi Guitart and Ajay Dholakia and David Ellison},
journal= {arXiv preprint arXiv:2306.11955},
year = {2023}
}
备注
An early version of this work was presented at CVPR 2023, LXAI Workshop