基于异构神经过程的情景式多任务学习
机器学习
2023-10-31 v1
摘要
本文关注情景训练设置下多任务学习中的数据不足问题。具体而言，我们探索跨任务的异构信息以及情景间的元知识之潜力，以在有限数据下有效应对每个任务。现有元学习方法往往未能利用单个情景中关键的异构信息，而多任务学习模型则忽视复用早前情景的经验。为解决数据不足问题，我们针对情景式多任务设置开发了异构神经过程（HNPs）。在层次贝叶斯框架下，HNPs 有效利用先验经验作为元知识，并捕捉异构任务间的任务相关性，从而缓解数据不足。同时，设计了 transformer 结构的推断模块，以实现面向元知识与任务相关性的高效推断。借此，HNPs 能学习更强大的函数先验，以适应各元测试情景中的新颖异构任务。实验结果表明所提 HNPs 优于典型基线，且消融研究验证了所设计推断模块的有效性。
引用
@article{arxiv.2310.18713,
title = {Episodic Multi-Task Learning with Heterogeneous Neural Processes},
author = {Jiayi Shen and Xiantong Zhen and Qi and Wang and Marcel Worring},
journal= {arXiv preprint arXiv:2310.18713},
year = {2023}
}
备注
28 pages, spotlight of NeurIPS 2023