面向软件从业者博客文章可信度评估的语料库构建
软件工程
2021-06-22 v1
摘要
博客是一种灰色文献来源，被软件从业者广泛采用以传播观点和经验。分析此类文章可为软件工程研究的实践现状提供有用见解。然而，从大量可用文章中识别更高质量的内容存在挑战。可信度评估有助于识别高质量内容，但缺乏现有语料库。可信度通常通过一系列概念性标准来衡量，其中“论证”和“证据”是两个重要标准。我们创建了一个标注了论证和证据的语料库，可助力可信度研究社区。该语料库由单一软件从业者博客中的文章组成，并已公开可用。三名标注者使用一系列概念性可信度标准对语料库进行标注，达到了0.82（Fleiss' Kappa）的一致性。我们通过使用该语料库研究声明句（我们十个标签之一）的识别来进行初步分析。我们使用三种特征集（词袋、主题建模和InferSent）训练了四个系统（Bert、KNN、决策树和支持向量机），使用InferSent和线性SVM取得了0.64的F1分数。我们的初步结果令人鼓舞，表明该语料库可帮助未来研究检测灰色文献的可信度。未来研究将调查句子级标注在多大程度上可推断整体文档的可信度。
引用
@article{arxiv.2106.11159,
title = {Towards a corpus for credibility assessment in software practitioner blog articles},
author = {Ashley Williams and Matthew Shardlow and Austen Rainer},
journal= {arXiv preprint arXiv:2106.11159},
year = {2021}
}