时间决定一切：检验生物医学语言模型的时序效应

时间根植于生物医学语言模型的应用中：模型是在历史数据上训练的，部署时可能用于新的或未来的数据，这些数据可能与训练数据有所不同。尽管越来越多的生物医学任务都采用了最先进的语言模型，但鲜有研究考察了生物医学模型在数据通常在开发与部署之间发生迁移时的时间效应。本研究通过统计方法探讨了语言模型性能与数据迁移之间的关系，针对三个生物医学任务进行了系统性研究。我们部署了多种指标来评估模型性能，使用距离方法衡量数据漂移，并采用统计方法量化生物医学语言模型的时间效应。我们的研究表明，部署生物医学语言模型时时间是关键因素，而性能下降的程度因具体的生物医学任务和统计量化方法而异。我们相信本研究可以为评估和评估生物医学语言模型部署中的时间效应奠定坚实的基准。