莎士比亚颂联与Taylor Swift歌词文档级嵌入方法的相似性评分比较分析
计算与语言
2024-12-24 v1 信息检索
摘要
本研究评估了TF-IDF加权、平均Word2Vec嵌入和BERT嵌入在莎士比亚颂联和Taylor Swift歌词等两个对比文本领域的文档相似性评分性能。通过分析余弦相似度得分，揭示了各方法的优势与局限。研究发现，TF-IDF依赖于词汇重叠，而Word2Vec在跨域比较中表现出更好的语义泛化;而BERT在挑战性领域中的表现较低，可能是由于缺乏针对特定领域的 fine-tuning 所致。
引用
@article{arxiv.2412.17552,
title = {Comparative Analysis of Document-Level Embedding Methods for Similarity Scoring on Shakespeare Sonnets and Taylor Swift Lyrics},
author = {Klara Kramer},
journal= {arXiv preprint arXiv:2412.17552},
year = {2024}
}
备注
9 pages, 4 figures