任务不确定性损失减少非对称多任务特征学习中的负迁移
机器学习
2020-12-18 v1 人工智能
基因组学
摘要
多任务学习（MTL）常用于以下场景：目标任务必须基于有限训练数据学习，但可从相关辅助任务中利用知识。虽然MTL总体上相对于单任务学习（STL）可改善任务性能，但这些改善可能掩盖了负迁移（NT），即STL对许多单独任务可能提供更好的性能。非对称多任务特征学习（AMTFL）是一种试图解决此问题的方法，它允许具有较高损失值的任务对其他任务的特征表示具有较小影响。任务损失值不一定指示特定任务模型的可靠性。我们在两个正交数据集（图像识别和药物基因组学）中展示了NT的实例，并通过使用偶然同方差不确定性来捕捉任务间的相对置信度并为任务损失设置权重来应对这一挑战。我们的结果表明，该方法减少了NT，提供了一种实现鲁棒MTL的新途径。
引用
@article{arxiv.2012.09575,
title = {Task Uncertainty Loss Reduce Negative Transfer in Asymmetric Multi-task Feature Learning},
author = {Rafael Peres da Silva and Chayaporn Suphavilai and Niranjan Nagarajan},
journal= {arXiv preprint arXiv:2012.09575},
year = {2020}
}
备注
Accepted in AAAI 2021 Student Abstract and Poster Program