LSC-Eval：一种利用 LLM 生成合成数据评估词汇语义变化维度的通用框架
计算与语言
2025-06-05 v2
摘要
词汇语义变化（Lexical Semantic Change, LSC）为理解文化与社会动态提供了深刻洞察。然而，由于缺乏历史基准数据集，衡量不同类型 LSC 的方法的有效性仍未得到确立。为填补这一空白，我们提出了一种新颖的三阶段通用评估框架 LSC-Eval，旨在：(1) 开发一种可扩展的方法，利用上下文学习和词汇数据库生成模拟理论驱动 LSC 的合成数据集；(2) 使用这些数据集评估计算方法对合成变化的敏感性；(3) 评估这些方法在检测特定维度和领域变化方面的适用性。我们应用 LSC-Eval，以心理学中的示例为样本，模拟了 SIBling 框架中定义的情感、强度和广度（SIB）维度上的变化。随后，我们评估了所选方法检测这些受控干预的能力。我们的研究结果验证了合成基准的使用，表明量身定制的方法能有效检测 SIB 维度上的变化，并揭示了一个最先进的 LSC 模型在检测 LSC 的情感维度时面临挑战。LSC-Eval 为 LSC 方法提供了针对特定维度和领域的基准测试工具，在社会科学领域具有特殊价值。
引用
@article{arxiv.2503.08042,
title = {LSC-Eval: A General Framework to Evaluate Methods for Assessing Dimensions of Lexical Semantic Change Using LLM-Generated Synthetic Data},
author = {Naomi Baes and Raphaël Merx and Nick Haslam and Ekaterina Vylomova and Haim Dubossarsky},
journal= {arXiv preprint arXiv:2503.08042},
year = {2025}
}
备注
Accepted to ACL Findings (9-page long paper; 35 pages total including limitations, appendices and references)