基于知识重构的终身生成学习
机器学习
2022-01-20 v1 人工智能
摘要
生成模型在顺序学习多个任务（即终身生成学习）时常常遭遇灾难性遗忘问题。尽管已有一些努力来解决该问题，但它们存在耗时高或误差累积的缺陷。在本工作中，我们基于变分自编码器（VAE）开发了一种高效且有效的终身生成模型。与生成对抗网络不同，VAE 在训练过程中享有高效率，以少量资源提供天然优势。我们通过将 VAE 固有的重构特性扩展至历史知识保持，推导出一种终身生成模型。此外，我们设计了一种关于重构数据的反馈策略以缓解误差累积。在 MNIST、FashionMNIST 和 SVHN 的终身生成任务上的实验验证了我们所提方法的有效性，其结果可与 SOTA 相媲美。
引用
@article{arxiv.2201.06418,
title = {Lifelong Generative Learning via Knowledge Reconstruction},
author = {Libo Huang and Zhulin An and Xiang Zhi and Yongjun Xu},
journal= {arXiv preprint arXiv:2201.06418},
year = {2022}
}