KRNet：迈向高效知识回放
机器学习
2022-05-24 v1 计算机视觉与模式识别
摘要
知识回放技术已广泛用于持续学习和连续域适应等诸多任务中。其关键在于如何有效地对从先前数据中提取的知识进行编码，并在当前训练过程中进行回放。实现知识回放的一个简单而有效的模型是自编码器。然而，自编码器中存储的潜码数量随数据规模线性增长，且训练好的编码器在回放阶段是冗余的。本文提出一种新颖且高效的知识记录网络（KRNet），其将任意样本标识号直接映射到对应数据。与自编码器相比，我们的 KRNet 所需的潜码存储开销显著降低（），且无需编码器子网络即可训练。大量实验验证了 KRNet 的高效性，并作为示例成功应用于持续学习任务。
引用
@article{arxiv.2205.11126,
title = {KRNet: Towards Efficient Knowledge Replay},
author = {Yingying Zhang and Qiaoyong Zhong and Di Xie and Shiliang Pu},
journal= {arXiv preprint arXiv:2205.11126},
year = {2022}
}
备注
Accepted by ICPR 2022