实现语义一致性：面向政治文本分析的上下文化词表示征

Ruiyu Zhang; Lin Nie; Ce Zhao; Qingyang Chen

实现语义一致性：面向政治文本分析的上下文化词表示征

计算与语言 2025-01-22 v2 综合经济学经济学

作者: Ruiyu Zhang , Lin Nie , Ce Zhao , Qingyang Chen

摘要

准确解读词语在政治学文本分析中至关重要；某些任务需要假设语义稳定性，而另一些任务则旨在追踪语义变化。传统的静态嵌入（如Word2Vec）有效捕捉长期语义变化，但由于训练数据不平衡导致的嵌入波动，往往在短期上下文中缺乏稳定性。BERT具有基于转换器的体系结构和上下文嵌入，提供更大的语义一致性，使其适用于稳定性至关重要的分析。本研究使用20年《人民日报》文章比较Word2Vec和BERT在不同时间框架内的语义表示性能。结果表明，BERT在维持语义稳定性方面优于Word2Vec，同时仍能识别细微的语义变化。这些发现支持BERT在需要稳定性的文本分析任务中使用，其中不假设语义变化，从而提供比静态方法更可靠的基础。

关键词

语义一致性上下文嵌入政治文本分析 Word2Vec BERT

引用

@article{arxiv.2412.04505,
  title  = {Achieving Semantic Consistency: Contextualized Word Representations for Political Text Analysis},
  author = {Ruiyu Zhang and Lin Nie and Ce Zhao and Qingyang Chen},
  journal= {arXiv preprint arXiv:2412.04505},
  year   = {2025}
}

备注

9 pages, 3 figures

实现语义一致性：面向政治文本分析的上下文化词表示征

摘要

关键词

引用

备注

相关论文