面向文档处理平台中类增量持续学习的领域无关神经架构
机器学习
2023-07-12 v1 人工智能
摘要
复杂系统中的生产部署要求机器学习架构高效且能适用于多任务。尤其具有挑战性的是数据以流式到达且每个类别单独呈现的分类问题。近期基于随机梯度学习的方法在此类设定下表现不佳，或存在如记忆缓冲区等限制，且受限于特定领域，无法用于真实场景。为此，我们提出一种基于混合专家模型的全可微架构，能够在每个类的样本单独呈现时训练高性能分类器。我们进行了详尽的实验，证明了其在多种领域的适用性以及在生产环境中在线学习的能力。所提方法在无记忆缓冲区的情况下取得了SOTA结果，并明显优于参考方法。
引用
@article{arxiv.2307.05399,
title = {Domain-Agnostic Neural Architecture for Class Incremental Continual Learning in Document Processing Platform},
author = {Mateusz Wójcik and Witold Kościukiewicz and Mateusz Baran and Tomasz Kajdanowicz and Adam Gonczarek},
journal= {arXiv preprint arXiv:2307.05399},
year = {2023}
}
备注
arXiv admin note: text overlap with arXiv:2211.14963