Depth $F_1$：衡量跨域文本分类语义可迁移性的评估指标
计算与语言
2024-06-24 v1 人工智能
摘要
近年来，跨域文本分类模型的评估旨在衡量模型在给定源域标注样本后，对目标域中具有域无关性能的能力。当前评估策略依赖于基准数据集中源域样本与目标域样本之间的假设性差异，未能考虑源域与目标域之间的相似性，可能掩盖模型在针对与源域高度不相似的特定目标样本时迁移学习的失败。我们提出 Depth ，一种新的跨域文本分类绩效指标。作为补充现有分类指标（如 ）的工具，Depth 衡量模型在目标域中与源域不相似样本上的表现。我们通过标准跨域文本分类数据集对该指标进行论证，并对比评估了近期的多种跨域文本分类模型，以实现对语义可迁移性深入评估的目标。
关键词
引用
@article{arxiv.2406.14695,
title = {Depth $F_1$: Improving Evaluation of Cross-Domain Text Classification by Measuring Semantic Generalizability},
author = {Parker Seegmiller and Joseph Gatto and Sarah Masud Preum},
journal= {arXiv preprint arXiv:2406.14695},
year = {2024}
}