友训：从不同但相关任务模型中学习
计算与语言
2023-02-01 v1
摘要
当前的自训练方法，如标准自训练、协同训练、三训练等，通常侧重于提升模型在单一任务上的性能，利用输入特征、模型架构和训练过程的差异。然而，自然语言处理中的许多任务涉及语言不同但相关的方面，为一个任务训练的模型可以成为其他相关任务的优秀教师。在这项工作中，我们提出友训(friend-training)，一种跨任务自训练框架，其中为不同任务训练的模型被用于迭代训练、伪标注和再训练过程，以相互帮助更好地选择伪标签。以会话语义角色标注和对话重写这两个对话理解任务作为案例研究，我们表明采用友训框架训练的模型相比强基线取得了最佳性能。
引用
@article{arxiv.2301.13683,
title = {Friend-training: Learning from Models of Different but Related Tasks},
author = {Mian Zhang and Lifeng Jin and Linfeng Song and Haitao Mi and Xiabing Zhou and Dong Yu},
journal= {arXiv preprint arXiv:2301.13683},
year = {2023}
}
备注
Accepted by EACL2023