使用预训练Transformer的连续主动学习
信息检索
2022-08-16 v1 人工智能
机器学习
摘要
像BERT和T5这样预训练并微调的Transformer模型已改进了即席检索和问答的最先进水平，但在高召回信息检索中尚未如此，后者的目标是检索到几乎所有相关文档。我们研究将基于Transformer的模型用于重排序和/或特征化是否能改进TREC Total Recall Track的基线模型实现，其代表了当前高召回信息检索的最先进水平。我们还引入了CALBERT，一种可基于相关性反馈持续微调基于BERT模型的模型。
引用
@article{arxiv.2208.06955,
title = {Continuous Active Learning Using Pretrained Transformers},
author = {Nima Sadri and Gordon V. Cormack},
journal= {arXiv preprint arXiv:2208.06955},
year = {2022}
}