历史学习综述：利用学习历史训练模型
机器学习
2023-03-24 v1 人工智能
计算机视觉与模式识别
摘要
新知识源于旧知。沉积在训练历史中的各类要素，是改进深度模型训练的宝贵财富。本综述从历史类型（是什么）、功能位置（在哪里）与存储形式（如何存）三个细致方面，全面回顾与总结了“历史学习：利用学习历史训练模型”这一主题——即在优化过程中借助模型自身学习历史来学习更优神经网络模型。据我们所知，这是首篇系统研究在训练深度神经网络时利用各类历史统计量的方法论的综述。文中展示了与循环/记忆网络、集成学习和强化学习等相关主题的讨论。我们也指出了该主题的未来挑战，并鼓励学界在设计算法时关注历史学习原理的思考。与历史学习相关的论文列表见 \url{https://github.com/Martinser/Awesome-Historical-Learning.}。
引用
@article{arxiv.2303.12992,
title = {A Survey of Historical Learning: Learning Models with Learning History},
author = {Xiang Li and Ge Wu and Lingfeng Yang and Wenhai Wang and Renjie Song and Jian Yang},
journal= {arXiv preprint arXiv:2303.12992},
year = {2023}
}
备注
Xiang Li and Ge Wu have equal contributions