利用语义信息的多任务学习
机器学习
2021-03-04 v1 人工智能
摘要
多任务学习的一个关键目标是跨任务对齐分布，以便任务间的信息能够迁移与共享。然而，现有方法仅关注匹配边缘特征分布而忽略语义信息，这可能阻碍学习性能。为解决此问题，我们提出通过探索任务间的语义条件关系来利用多任务学习中的标签信息。我们首先基于 Jensen-Shannon 散度的概念理论分析了多任务学习的泛化界，为标签信息在多任务学习中的价值提供新见解。我们的分析还导出一个具体算法，联合匹配语义分布并控制标签分布散度。为验证所提方法的有效性，我们首先在一些基准上将该算法与若干基线比较，然后在标签空间偏移条件下测试算法。实证结果表明，所提方法能优于大多数基线并达到 SOTA 性能，尤其在标签偏移条件下显示出益处。
引用
@article{arxiv.2103.02546,
title = {Multi-task Learning by Leveraging the Semantic Information},
author = {Fan Zhou and Brahim Chaib-draa and Boyu Wang},
journal= {arXiv preprint arXiv:2103.02546},
year = {2021}
}