使用动态扩展图模型的终身生成建模
机器学习
2021-12-17 v1 人工智能
计算机视觉与模式识别
摘要
变分自编码器（VAEs）在学习多个连续任务时会出现性能退化，这是由灾难性遗忘引起的。为了解决知识丢失问题，VAEs 采用生成重放（GR）机制或扩展网络架构（ENA）。本文中，我们通过推导负边际对数似然的上界，使用 GR 与 ENA 相结合的联合方法来研究 VAEs 的遗忘行为。该理论分析为 VAEs 在终身学习中如何遗忘先前学到的知识提供了新的见解。分析表明，在 ENA 框架下考虑模型混合且对组件数量无限制时，可达到最佳性能。然而，基于 ENA 的方法可能需要过多参数。这促使我们提出一种新颖的动态扩展图模型（DEGM）。DEGM 根据每个新数据库相较于网络已从先前任务中学到的信息所具有的新颖性来扩展其架构。DEGM 训练优化知识结构，刻画对应于过去和最近学习任务的联合概率表示。我们证明 DEGM 在保证每个任务最优性能的同时，也最小化了所需参数数量。补充材料（SM）和源代码可在 https://github.com/dtuzi123/Expansion-Graph-Model 获取。
引用
@article{arxiv.2112.08370,
title = {Lifelong Generative Modelling Using Dynamic Expansion Graph Model},
author = {Fei Ye and Adrian G. Bors},
journal= {arXiv preprint arXiv:2112.08370},
year = {2021}
}
备注
Accepted in Proceedings of the 36th AAAI Conference on Artificial Intelligence (AAAI 2022)