面向多步转化预估的自适应模式提取多任务学习
机器学习
2023-01-24 v3 人工智能
摘要
多任务学习（MTL）已成功应用于许多现实场景，旨在用单一模型同时解决多个任务。多任务学习的通用思路是设计各类全局参数共享机制与任务特定特征提取器以提升所有任务的性能。然而，由于模型性能对任务间关系敏感，平衡各任务间的权衡仍是挑战。相关性低甚至冲突的任务会因引入无益或负面信息而损害性能。因此，高效利用并学习对应于各任务的细粒度特征表示十分重要。本文提出一种自适应且灵活、适用于大规模工业应用的自适应模式提取多任务（APEM）框架。APEM 通过学习输入特征域与提取出的对应任务特定信息之间的交互，充分利用特征信息。我们首先引入 DeepAuto Group Transformer 模块，借助改进的集注意力机制与压缩激励（Squeeze-and-Excitation）操作自动高效地增强特征表达能力。其次，引入显式模式选择器，通过自适应任务指示向量进一步实现选择性的特征表示学习。实证评估表明，APEM 在公开与真实金融数据集上优于 SOTA MTL 方法。更重要的是，我们探索了 APEM 在真实工业级推荐场景中的在线表现。
引用
@article{arxiv.2301.02494,
title = {Adaptive Pattern Extraction Multi-Task Learning for Multi-Step Conversion Estimations},
author = {Xuewen Tao and Mingming Ha and Xiaobo Guo and Qiongxu Ma and Hongwei Cheng and Wenfang Lin},
journal= {arXiv preprint arXiv:2301.02494},
year = {2023}
}
备注
18 pages, 9 figures