文章中子文本块的内容显著性分布及其在文章结构评估中的应用
计算机视觉与模式识别
2024-09-25 v3
摘要
我们探究如何捕捉文章中子文本块的显著性，以及它如何用于文本挖掘任务。子文本块是文章中句子的子序列。我们形式化了子文本块的内容显著性分布（CSD）概念，称为第一类CSD并记为CSD-1。具体地，我们利用Hugging Face的SentenceTransformer生成上下文句子嵌入，并使用文本嵌入上的MoverScore来衡量子文本块与整篇文本的相似度。为克服子文本块数量的指数级膨胀，我们提出一种近似算法，并表明近似CSD-1与精确CSD-1几乎一致。在此近似下，我们展示新闻、学术研究、论辩和叙事文章的平均与中位CSD-1共享相同模式。我们还表明在某一线性变换下，具有特定和值的贝塔分布累积分布函数的补类似于一条CSD-1曲线。随后我们利用CSD-1提取语言特征来训练一个SVC分类器，以评估文章的组织良好程度。通过实验，我们表明该方法在评估学生作文方面达到高准确率。此外，我们研究句子位置的内容显著性分布，称为第二类CSD并记为CSD-2，并展示不同类型文章的平均CSD-2具有 distinctive 模式，这些模式要么符合对文章结构的普遍认知，要么在微小偏差下提供修正。
引用
@article{arxiv.2311.01673,
title = {Content Significance Distribution of Sub-Text Blocks in Articles and Its Application to Article-Organization Assessment},
author = {You Zhou and Jie Wang},
journal= {arXiv preprint arXiv:2311.01673},
year = {2024}
}