基于反馈机制的多任务学习输出级任务相关性建模
机器学习
2024-04-02 v1
摘要
多任务学习（MTL）是一种通过在不同层级共享信息来同时学习多个任务的范式，能够提升每个单独任务的性能。虽然先前的研究主要集中在特征级或参数级的任务相关性上，并提出了各种模型架构和学习算法来提高学习性能，但我们旨在探索输出级的任务相关性。该方法将后验信息引入模型中，考虑到不同任务可能会产生具有相互影响的输出。我们通过在 MTL 模型中引入反馈机制来实现这一点，其中一个任务的输出作为另一个任务的隐藏特征，从而将静态 MTL 模型转化为动态模型。为了确保训练过程收敛，我们引入了一种收敛损失，用于衡量每次迭代期间任务输出的趋势。此外，我们提出了一种 Gumbel 门控机制来确定反馈信号的最优投影。我们通过在口语理解领域的几个基线模型上进行的实验，验证了我们方法的有效性并评估了其性能。
引用
@article{arxiv.2404.00885,
title = {Modeling Output-Level Task Relatedness in Multi-Task Learning with Feedback Mechanism},
author = {Xiangming Xi and Feng Gao and Jun Xu and Fangtai Guo and Tianlei Jin},
journal= {arXiv preprint arXiv:2404.00885},
year = {2024}
}
备注
submitted to CDC2024