PTMs-TSCIL：基于预训练模型的类增量学习
机器学习
2025-03-11 v1 人工智能
摘要
时间序列数据的类增量学习 (CIL) 在平衡稳定性与灾难性遗忘以及获取新知识的可塑性方面面临关键挑战，尤其是在历史数据访问受限的现实世界约束下。尽管预训练模型 (PTMs) 在视觉和 NLP 领域的 CIL 中展现出潜力，但由于缺乏大规模时间序列预训练模型，其在时间序列类增量学习 (TSCIL) 中的潜力仍未被充分探索。受近期时间序列数据大规模预训练模型 (PTMs) 出现的启发，我们首次探索了基于 PTM 的时间序列类增量学习 (TSCIL)。我们的方法利用冻结的 PTM 主干网络并结合增量调优共享适配器，在保持泛化能力的同时通过知识蒸馏缓解特征漂移。此外，我们引入了特征漂移补偿网络 (DCN)，该网络采用新颖的两阶段训练策略设计，旨在精确建模跨增量任务的特征空间变换。这使得能够将旧类原型准确投影到新特征空间中。通过采用 DCN 校正后的原型，我们有效增强了统一分类器的重训练，缓解了模型特征漂移并减轻了灾难性遗忘。在五个真实世界数据集上的大量实验证明了最先进的性能，与现有的基于 PTM 的方法相比，我们的方法在所有数据集上实现了 1.4%-6.1% 的最终准确率提升。我们的工作为 TSCIL 建立了新范式，为持续学习系统的稳定性-可塑性优化提供了见解。
引用
@article{arxiv.2503.07153,
title = {PTMs-TSCIL Pre-Trained Models Based Class-Incremental Learning},
author = {Yuanlong Wu and Mingxing Nie and Tao Zhu and Liming Chen and Huansheng Ning and Yaping Wan},
journal= {arXiv preprint arXiv:2503.07153},
year = {2025}
}
备注
13 pages,6 figures