神经排序模型中的灾难性遗忘研究
信息检索
2021-01-19 v1 人工智能
摘要
近期信息检索（IR）文献中提出了若干深度神经排序模型。虽然利用传统领域自适应策略对其在某一数据集所持有的目标域上的可迁移性已被广泛探讨，但其跨域可迁移性问题仍研究不足。本文研究神经排序模型在习得新知识后，会在多大程度上灾难性地遗忘先前观测域所获得的旧知识，从而导致这些域上的性能下降。我们的实验表明，神经IR排序模型的有效性是以灾难性遗忘为代价取得的，而采用跨域正则化项的终身学习策略可成功缓解该问题。基于回归模型构建的解释性方法，我们还揭示了域特征对灾难性遗忘加剧的影响。我们认为所得结果有助于神经IR未来的理论与应用研究。
引用
@article{arxiv.2101.06984,
title = {Studying Catastrophic Forgetting in Neural Ranking Models},
author = {Jesus Lovon-Melgarejo and Laure Soulier and Karen Pinel-Sauvagnat and Lynda Tamine},
journal= {arXiv preprint arXiv:2101.06984},
year = {2021}
}