Support-BERT：基于深度双向 Transformer 预测 MSDN 中问答对质量
计算与语言
2020-05-19 v1
摘要
来自社区支持网站（如 Microsoft Developers Network、Stackoverflow、Github 等）的问题与答案之质量难以界定，而质量问答的预测模型更难以实现。既往工作利用元特征（如点赞数、发帖者可信度、帖子标题）以及语境朴素的自然语言处理特征，分别处理了问题质量模型与答案质量模型。然而，文献中缺乏面向社区问答网站的集成式问答质量模型。在本简短论文中，我们借助近期开发的深度双向 Transformer 模型，解决社区支持网站的质量问答建模问题。我们考察了迁移学习在问答质量建模上的适用性，所用为基于 Transformers 的双向编码器表示（BERT，原以 Wikipedia 训练于独立任务）。研究发现，对 BERT 模型作进一步预训练并结合从 Microsoft Developer Network（MSDN）抽取的问答数据微调，可将自动化质量预测性能提升至 80% 以上。此外，我们利用 AzureML 于 Azure 知识库系统中实现了微调模型的实时部署。
引用
@article{arxiv.2005.08294,
title = {Support-BERT: Predicting Quality of Question-Answer Pairs in MSDN using Deep Bidirectional Transformer},
author = {Bhaskar Sen and Nikhil Gopal and Xinwei Xue},
journal= {arXiv preprint arXiv:2005.08294},
year = {2020}
}