知识再唤醒：通过结构化训练实现灾难性遗忘的预期恢复
机器学习
2024-11-26 v2 计算与语言
摘要
我们探讨了在结构化非独立同分布(IID)环境中神经网络的训练动力学，该环境下文档以固定、重复的序列呈现。通常情况下，网络在处理文档序列时会遭受灾难性遗忘；然而，我们发现经大语言模型(LLM)在此设置下顺序微调的网络 exhibits 一种好奇且惊人的性质：它们展现出anticipatory行为，即在遇到文档再次出现之前就能从遗忘中恢复。即使文档从未一起呈现，此行为也会随着架构参数数量的增加而出现并变得更加稳健。通过全面实验和可视化，我们展示了一种新的机制，通过 which 超参数神经网络能够从灾难性遗忘中恢复，并揭示了在循环结构环境中训练超参数网络的新见解。
引用
@article{arxiv.2403.09613,
title = {Reawakening knowledge: Anticipatory recovery from catastrophic interference via structured training},
author = {Yanlai Yang and Matt Jones and Michael C. Mozer and Mengye Ren},
journal= {arXiv preprint arXiv:2403.09613},
year = {2024}
}
备注
38th Conference on Neural Information Processing Systems (NeurIPS 2024), Vancouver