基于混合专家神经网络跨模态对齐的城内零售推荐
计算机视觉与模式识别
2020-09-24 v1 人工智能
信息检索
机器学习
摘要
本文提出了一种用于城内零售行业的跨模态对齐混合专家神经网络（CameNN）推荐模型，旨在为全球新型冠状病毒肺炎（COVID-19）疫情爆发而兴起的5小时内送达生鲜食品与杂货零售服务提供支持。我们提出CameNN，这是一个包含三项任务的多任务模型：图像到文本对齐（ITA）任务、文本到图像对齐（TIA）任务以及CVR预测任务。我们使用预训练的BERT生成文本嵌入，并使用预训练的InceptionV4生成图像块嵌入（每张图像被分割为具有相同像素的小块，并将每个小块视为一个图像token）。随后通过softmax门控网络学习每个transformer专家输出的权重，并基于输入仅选择专家子集。接着应用transformer编码器作为共享底层以学习所有输入特征的共享交互。之后，实现混合transformer专家（MoE）层以建模任务的不同方面。在MoE层顶部，我们为每个任务部署一个transformer层作为任务塔以学习任务特定信息。在真实世界城内数据集上的实验表明，CameNN优于基线模型，并在图像与文本表示上取得显著提升。在实践中，我们将CameNN应用于中国领先城内平台之一的城内推荐系统中的CVR预测。
引用
@article{arxiv.2009.09926,
title = {Cross-Modal Alignment with Mixture Experts Neural Network for Intral-City Retail Recommendation},
author = {Po Li and Lei Li and Yan Fu and Jun Rong and Yu Zhang},
journal= {arXiv preprint arXiv:2009.09926},
year = {2020}
}