估计域内与域外样本间的语义相似度
计算与语言
2023-06-05 v1 人工智能
机器学习
摘要
先前工作通常将域外（OOD）或分布外（OODist）样本描述为源自与训练集不同但针对同一任务的数据集或来源的样本。与域内（ID）样本相比，已知模型在OOD样本上通常表现更差，尽管该观察并不一致。另一研究脉络聚焦于OOD检测，但多使用监督方法。本工作中，我们首先整合并系统分析先前文献中讨论的OOD与OODist的多种定义。随后，我们以原则性方式分析模型在ID与OOD/OODist设定下的表现。最后，我们寻求一种无需使用训练模型即可可靠识别OOD/OODist样本的无监督方法。我们使用来自4个不同任务的12个数据集进行的广泛评估结果，暗示了无监督度量在此任务中的可观潜力。
引用
@article{arxiv.2306.01206,
title = {Estimating Semantic Similarity between In-Domain and Out-of-Domain Samples},
author = {Rhitabrat Pokharel and Ameeta Agrawal},
journal= {arXiv preprint arXiv:2306.01206},
year = {2023}
}