BERT 对书籍、电影与音乐了解多少？探测 BERT 的对话式推荐能力
信息检索
2021-03-05 v2
摘要
BERT 等重度预训练 transformer 模型近期已显示出在语言建模上的卓越能力，在众多下游任务上取得令人印象深刻的成果。也已表明它们能在预训练后于参数中隐式存储事实知识。理解语言模型预训练过程实际学到了什么，是使用并改进对话式推荐系统（CRS）的关键一步。我们首先研究现成预训练 BERT 对书籍、电影与音乐等推荐物品的“了解”程度。为分析存储于 BERT 参数中的知识，我们使用需不同类型知识求解的探针，即基于内容与基于协同的。基于内容的知识要求模型将物品标题与其内容信息（如文本描述与流派）相匹配。相反，基于协同的知识要求模型依据社区交互（如评分）将物品与相似物品匹配。我们借助 BERT 的掩码语言建模头，以完形填空式提示探测其关于物品流派的知识。此外，我们利用 BERT 的下一句预测头与表征相似度，比较相关与非相关的搜索及推荐查询-文档输入，以探究 BERT 能否在无任何微调情况下将相关物品排于首位。最后，我们研究 BERT 在对话式推荐下游任务中的表现。总体而言，我们的分析与实验表明：(i) BERT 参数中存储有关于书籍、电影与音乐内容的知识；(ii) 其内容知识多于协同知识；(iii) 在面对对抗数据时对话式推荐失败。
引用
@article{arxiv.2007.15356,
title = {What does BERT know about books, movies and music? Probing BERT for Conversational Recommendation},
author = {Gustavo Penha and Claudia Hauff},
journal= {arXiv preprint arXiv:2007.15356},
year = {2021}
}
备注
Accepted for publication at RecSys'20