面向 out-of-distribution 文本分类的基于预训练模型的贪心分层稀疏表示学习——IMO
计算与语言
2024-04-23 v1
摘要
机器学习模型取得了惊人的进展，但在应用于来自不可见领域的示例时仍然困难。这一研究聚焦于域泛化问题，即模型在训练时使用一个源域的数据，在多个未见目标域上进行测试。我们提出了 IMO：面向 out-of-distribution 文本分类的不变特征掩码，以学习不变特征来实现 OOD 泛化。在训练期间，IMO 会学习稀疏掩码层来删除预测中无关的特征，其中剩余特征保持不变。此外，IMO 在标记级别上具有注意力模块，以关注对预测有用的标记。我们的全面实验表明，IMO 在各种评估指标和设置下均显著优于强大的基线方法。
引用
@article{arxiv.2404.13504,
title = {IMO: Greedy Layer-Wise Sparse Representation Learning for Out-of-Distribution Text Classification with Pre-trained Models},
author = {Tao Feng and Lizhen Qu and Zhuang Li and Haolan Zhan and Yuncheng Hua and Gholamreza Haffari},
journal= {arXiv preprint arXiv:2404.13504},
year = {2024}
}