基于知识驱动狄利克雷过程的终身无限混合模型
机器学习
2021-08-30 v1 人工智能
计算机视觉与模式识别
摘要
近期终身学习的研究工作提出通过增长混合模型来适应不断增加的任务数量。所提方法在克服灾难性遗忘方面展现出有前景的结果。然而,这些成功模型背后的理论仍未被充分理解。本文中,我们通过对基于模型所生成数据的概率表示与目标数据集对应表示之间差异距离推导风险界,对终身学习模型进行理论分析。受该理论分析启发,我们引入一种新的终身学习方法,即终身无限混合(LIMix)模型,其可自动扩展网络架构或选择合适的组件来调整参数以学习新任务,同时保留先前学到的信息。我们提出借助狄利克雷过程,通过门控机制计算先前在各组件中学得并存储的知识与新数据集之间的依赖关系来融入知识。此外,我们训练了一个紧凑的学生模型,可随时间累积跨域表示并快速推断。代码见 https://github.com/dtuzi123/Lifelong-infinite-mixture-model。
引用
@article{arxiv.2108.12278,
title = {Lifelong Infinite Mixture Model Based on Knowledge-Driven Dirichlet Process},
author = {Fei Ye and Adrian G. Bors},
journal= {arXiv preprint arXiv:2108.12278},
year = {2021}
}
备注
Accepted by International Conference on Computer Vision (ICCV 2021)