值得付出（环境）代价吗？关于通过持续训练进行时间自适应的有限证据

语言在不断变化与演化，致使语言模型迅速过时。因此，我们应持续用新数据更新模型，使其接触新事件与事实。但这需要额外的计算，意味着新的碳排放。是否有可衡量的收益能证明此代价？本文寻找支持持续训练的实证证据。我们复现现有基准，并将其扩展以涵盖额外的时间段、模型与任务。我们的结果显示，针对社交媒体数据的时间自适应英语模型的下游任务性能并未随时间提升。未经时间自适应的预训练模型实际上显著更高效且更有效。然而，我们也注意到缺乏合适的时间基准。我们的发现引发对何时及如何对语言模型进行时间自适应并兼顾可持续性的批判性反思。