面向大量具有多维关系任务的多方面分层多任务学习
机器学习
2021-10-27 v1
摘要
关于提升多任务学习（MTL）中共享学习效率的研究已有很多。先前工作聚焦于少量任务的“微观”共享视角，而在推荐系统（RS）及其他 AI 应用中，常常需要建模大量具有多维任务关系的任务。例如，当使用 MTL 建模 RS 中各种用户行为时，若我们将新用户与新物品区别于老用户与老物品，任务数将随多维关系呈笛卡尔积式增长。本工作研究共享学习网络设计的“宏观”视角，并提出多方面分层 MTL 模型（MFH）。MFH 利用嵌套分层树结构挖掘多维任务关系，从而最大化共享学习。我们在拥有 100 亿样本的大型工业视频平台上评估了 MFH 与 SOTA 模型，结果表明 MFH 在所有用户组的离线与在线评估中均显著优于 SOTA MTL 模型，尤其对新用户效果显著，其人均应用使用时长在线提升 9.1%，次日留存率提升 1.85%。MFH 现已部署于大规模在线视频推荐系统。MFH 尤其有益于 RS 中的冷启动问题，其中新用户与新物品常受“局部过拟合”现象困扰。然而，该思想实际具有通用性，广泛适用于其他 MTL 场景。
引用
@article{arxiv.2110.13365,
title = {Multi-Faceted Hierarchical Multi-Task Learning for a Large Number of Tasks with Multi-dimensional Relations},
author = {Junning Liu and Zijie Xia and Yu Lei and Xinjian Li and Xu Wang},
journal= {arXiv preprint arXiv:2110.13365},
year = {2021}
}
备注
12 pages, 8 figures