用于多任务学习与任务聚类的压缩层次表示
机器学习
2022-10-04 v1
摘要
在本文中，我们将同构特征多任务学习（MTL）框定为层次表示学习问题，包含一个任务无关与多个任务特定的潜在表示。从信息瓶颈原理汲取灵感，并假设任务无关与任务特定潜在表示间存在加性独立噪声模型，我们限制每个任务特定表示所含的信息。结果表明我们的所得表示在多个 MTL 基准上取得有竞争力的性能。此外，对于某些设定，我们表明加性噪声模型的训练参数与不同任务的相似性密切相关。这表明我们的方法产生的任务无关表示是解耦的，即其各个维度可从任务特定的视角加以解释。
引用
@article{arxiv.2205.15882,
title = {Compressed Hierarchical Representations for Multi-Task Learning and Task Clustering},
author = {João Machado de Freitas and Sebastian Berg and Bernhard C. Geiger and Manfred Mücke},
journal= {arXiv preprint arXiv:2205.15882},
year = {2022}
}
备注
Accepted by the 2022 International Joint Conference on Neural Networks (IJCNN 2022)