CERES：面向半结构化会话数据的图条件 Transformer 预训练
信息检索
2022-04-12 v1
摘要
用户会话每日支撑诸多搜索与推荐任务。此类会话数据呈半结构化，编码了查询与商品间的异质关系，且每项由非结构化文本描述。尽管文本或图的自监督学习近期取得进展，仍缺乏能有效捕捉半结构化会话中项内语义与项间交互的自监督学习模型。为填补此空白，我们提出 CERES，一种面向半结构化会话数据的基于图的 transformer 模型。CERES 通过以下方式学习同时捕捉项间与项内语义的表示：（1）图条件掩码语言预训练任务，联合从项文本与项-项关系中学习；以及（2）图条件 transformer 架构，将项间上下文传播至项级表示。我们使用约 4.68 亿条 Amazon 会话对 CERES 进行预训练，并发现 CERES 在三项会话搜索与实体链接任务中比强预训练基线高出至多 9%。
引用
@article{arxiv.2204.04303,
title = {CERES: Pretraining of Graph-Conditioned Transformer for Semi-Structured Session Data},
author = {Rui Feng and Chen Luo and Qingyu Yin and Bing Yin and Tuo Zhao and Chao Zhang},
journal= {arXiv preprint arXiv:2204.04303},
year = {2022}
}