基于注意力机制的特征记忆设计：面向能效持续学习
机器学习
2026-02-06 v2
摘要
表格数据流在医疗、金融和物联网等实时决策场景中日益普及，往往在资源受限的边缘和移动设备上生成和处理。持续学习(CL)使模型能够从此类数据流中顺序学习，同时保留先前获取的知识。虽然近期CL技术在缓解灾难性遗忘方面取得了显著进展，但针对表格数据流的能源和内存效率研究尚未得到充分关注。为此，我们提出AttenMLP，将注意力机制的特征回放与上下文检索和滑动缓冲区更新集成到小批量训练框架中，用于流式表格学习。我们在真实世界的概念漂移基准测试上对AttenMLP进行评估，测试数据包含时间分布的迁移。实验结果表明，AttenMLP在不使用回放的情况下，准确率可与强基线相当，同时通过可调设计选项显著降低能源消耗。具体而言，基于注意力机制的特征记忆设计，AttenMLP在递增概念漂移数据集上最终准确率下降0.062，但能源使用降低最高可达33.3%；在突发性概念漂移数据集上，AttenMLP相较于TabR降低1.47%能源消耗，代价是最终准确率下降0.038。尽管在全局效率上排名第三，AttenMLP在突发性和递增概念漂移情景下展现出能源-准确率之间的trade-off，表现优于SOTA表格模型。
引用
@article{arxiv.2510.04660,
title = {An Attention-based Feature Memory Design for Energy-Efficient Continual Learning},
author = {Yuandou Wang and Filip Gunnarsson and Rihan Hai},
journal= {arXiv preprint arXiv:2510.04660},
year = {2026}
}