对话理解中数据集内任务迁移的数据效率探索
计算与语言
2022-10-24 v1
摘要
迁移学习是自然语言处理中一个令人兴奋的领域，有潜力同时提升模型性能并增加数据效率。本研究探讨了在对话领域中，目标任务训练数据量变化对顺序迁移学习的影响。我们假设模型可以利用从源任务中学习到的信息更好地学习目标任务，从而减少所需的目标任务训练样本数量。与直觉相反，我们的数据显示，与无迁移学习的相同模型相比，目标任务训练数据规模对顺序迁移学习性能的影响往往很小。我们的结果使我们相信，这一意外结果可能是由于灾难性遗忘的影响，从而激励进一步研究防止此类遗忘的方法。
引用
@article{arxiv.2210.11729,
title = {An Exploration of Data Efficiency in Intra-Dataset Task Transfer for Dialog Understanding},
author = {Josiah Ross and Luke Yoffe and Alon Albalak and William Yang Wang},
journal= {arXiv preprint arXiv:2210.11729},
year = {2022}
}