频繁更新，快速更新：以极少时间重新训练语义解析系统
计算与语言
2021-03-23 v2 机器学习
摘要
当前部署在语音助手中的语义解析系统可能需要数周时间来训练。这些模型的数据集经常收到小而频繁的更新，即数据补丁。每个补丁都需要训练一个新模型。为减少训练时间，可以在每个补丁上微调先前训练的模型，但朴素微调会表现出灾难性遗忘——模型在补丁未涵盖数据上的性能退化。在这项工作中，我们提出了一种缓解灾难性遗忘的简单方法，并表明通过微调在不到 10% 的时间内匹配从头训练的模型性能是可能的。实现这一点的关键是超采样和 EWC 正则化。我们在 Facebook TOP 和 SNIPS 数据集的多个划分上展示了我们方法的有效性。
引用
@article{arxiv.2010.07865,
title = {Update Frequently, Update Fast: Retraining Semantic Parsing Systems in a Fraction of Time},
author = {Vladislav Lialin and Rahul Goel and Andrey Simanovsky and Anna Rumshisky and Rushin Shah},
journal= {arXiv preprint arXiv:2010.07865},
year = {2021}
}