面向金融营销的多任务学习课程式任务间依赖建模
信息检索
2023-05-03 v1 人工智能
机器学习
摘要
面向各种真实应用的多任务学习通常涉及具有逻辑顺序依赖的任务。例如，在在线营销中， 的级联行为模式通常被以多任务方式建模为多个任务，其中任务间的顺序依赖在当前工作中仅通过显式定义的函数或隐式传递的信息简单连接。这些方法缓解了长路径顺序任务的数据稀疏问题，因为随着任务序列延伸正反馈变得愈发稀疏。然而，误差累积与负迁移对下游任务将是严重问题。尤其在训练初期，前序任务参数优化尚未收敛，从而传递给下游任务的信息为负向。本文提出先验信息融合模型（PIMM），其通过新颖的先验信息融合（PIM）模块以课程式方式显式建模任务间逻辑依赖，用于多顺序依赖任务学习。具体而言，PIM 在训练期间通过软采样策略随机选取真实标签信息或先验任务预测传递给下游任务。遵循由易到难的课程范式，我们动态调整采样概率以确保下游任务随训练获得有效信息。在公开与产品数据集上的离线实验结果验证了 PIMM 优于最先进基线。此外，我们将 PIMM 部署于大规模金融科技平台，线上实验同样证明了 PIMM 的有效性。
引用
@article{arxiv.2305.01514,
title = {Curriculum Modeling the Dependence among Targets with Multi-task Learning for Financial Marketing},
author = {Yunpeng Weng and Xing Tang and Liang Chen and Xiuqiang He},
journal= {arXiv preprint arXiv:2305.01514},
year = {2023}
}