基于多关系图的社区问答异构多任务学习
计算与语言
2021-10-06 v1 人工智能
机器学习
摘要
为研究如 Stack Overflow 等社区问答(CQA)平台,已提出多种数据挖掘任务。其中部分任务之间的相关性通过多任务学习(MTL)为彼此提供了有用的学习信号。然而,由于这些任务的高度异质性,现有少数工作能在统一框架中联合求解它们。为应对该挑战,我们开发了名为异构多任务图同构网络(HMTGIN)的基于多关系图的多任务学习模型,可高效求解异构 CQA 任务。在每次训练前向传播中,HMTGIN 通过图同构网络的一种扩展与跳跃连接嵌入输入的 CQA 论坛图。随后嵌入向量在所有任务特定的输出层间共享以计算各自损失。此外,基于任务间关系的领域知识使用了两种跨任务约束来正则化联合学习。在评估中,嵌入向量在不同任务特定输出层间共享以作出相应预测。据我们所知,HMTGIN 是首个能从多关系图角度处理 CQA 任务的 MTL 模型。为评估 HMTGIN 的有效性,我们构建了来自 Stack Overflow 的包含超两百万节点的新型大规模多关系图 CQA 数据集。大量实验表明: HMTGIN 在五项任务上优于所有基线; 所提 MTL 策略与跨任务约束具有显著优势。
引用
@article{arxiv.2110.02059,
title = {Multi-Relational Graph based Heterogeneous Multi-Task Learning in Community Question Answering},
author = {Zizheng Lin and Haowen Ke and Ngo-Yin Wong and Jiaxin Bai and Yangqiu Song and Huan Zhao and Junpeng Ye},
journal= {arXiv preprint arXiv:2110.02059},
year = {2021}
}
备注
Full paper of CIKM 2021