无存储约束的在线持续学习
人机交互
2023-05-17 v1
摘要
传统在线持续学习（OCL）研究主要关注在智能体整个生命周期内以固定且有限的存储分配来缓解灾难性遗忘。然而，大量现实应用主要受计算成本而非存储限制约束。本文针对此类应用，研究在存储约束放宽且计算预算有限下的在线持续学习问题。我们贡献了一个简单算法，该算法持续更新 kNN 分类器，并配合固定的预训练特征提取器。我们选择该算法是因为其极其适合在线持续学习：它能适应快速变化的流数据，具有零稳定性间隙，在极小计算预算内运行，仅存储特征因而存储需求低，并且具有一致性属性——永不遗忘已见数据。这些特性带来了显著改进，使我们的算法在两个大规模 OCL 数据集上准确率超越现有方法 20% 以上：Continual LOCalization（CLOC，3900万图像、712类）与 Continual Google Landmarks V2（CGLM，58万图像、10788类），即便现有方法保留所有已见图像。此外，我们以大幅降低的计算与存储开销实现了这一优越性能。我们在 github.com/drimpossible/ACM 提供代码以复现结果。
引用
@article{arxiv.2305.09252,
title = {Social Wormholes: Exploring Preferences and Opportunities for Distributed and Physically-Grounded Social Connections},
author = {Joanne Leong and Yuanyang Teng and Xingyu "Bruce" Liu and Hanseul Jun and Sven Kratz and Yu Jiang Tham and Andrés Monroy-Hernández and Brian A. Smith and Rajan Vaish},
journal= {arXiv preprint arXiv:2305.09252},
year = {2023}
}
备注
To appear in the Proceedings of the ACM on Human-Computer Interaction, CSCW2, November 2023 issue. To be presented at CSCW 2023. 29 pages