不要提及它：一种评估软件提及用于引用与可发现性研究挑战的方法

从学术出版物中收集软件提及的数据集，可能被用于研究已发表研究中所使用的软件，以及软件引用的实践。最近，具有不同特征的新软件提及数据集已经发布。我们提出了一种方法，用于评估此类数据集在研究科研软件时的可用性。我们的方法包括采样和数据准备、针对质量和提及特征的人工标注，以及标注分析。我们将其应用于两个软件提及数据集，以基于定性观察进行评估。通过这样做，我们发现了使用所选数据集进行研究时面临的挑战。主要问题涉及数据集的结构、提取提及的质量（分别有 54% 和 23% 的提及不是关于软件的）以及软件的可访问性。一个数据集根本没有提供指向所提及软件的链接，而另一个数据集提供链接的方式可能会阻碍定量研究工作：（1）链接可能来自不同来源，且对于同一提及各自指向不同的软件。（2）自动检索到的链接质量通常很差（在我们的样本中，65.4% 链接到了错误的软件）。（3）链接仅存在于提及的一小部分子集中（在我们的样本中为 20.5%），这可能导致样本倾斜或不成比例。然而，使用软件提及数据集时最大的挑战和潜在问题是软件引用实践仍然不够理想：软件不应仅仅被提及，而应遵循软件引用原则进行引用。