MetaXCR：面向跨语言常识推理的基于强化学习的元迁移学习
计算与语言
2025-03-11 v1
摘要
常识推理（CR）在许多领域已被研究，并借助大型数据集取得了巨大进展。然而，大多数现有的 CR 数据集均以英语构建，因此以往的大部分工作聚焦于英语。此外，由于常识推理的标注成本高昂，为每个新任务构建大型数据集是不现实的。因此，跨语言低资源常识推理的呼声日益高涨，其旨在利用多样化的现有英语数据集，帮助模型适应标注数据有限的新跨语言目标数据集。在本文中，我们提出了一种用于跨语言低资源常识推理的多源适配器（MetaXCR）。在该框架中，我们首先通过结合多个训练数据集扩展元学习，以学习跨不同任务的通用任务适配器。然后，我们进一步引入基于强化学习的采样策略，帮助模型采样对目标任务最有帮助的源任务。最后，我们引入两类跨语言元适应方法，以增强模型在目标语言上的性能。大量实验表明，MetaXCR 优于现有最优方法，同时其训练参数量少于其他工作。
引用
@article{arxiv.2503.06531,
title = {MetaXCR: Reinforcement-Based Meta-Transfer Learning for Cross-Lingual Commonsense Reasoning},
author = {Jie He and Yu Fu},
journal= {arXiv preprint arXiv:2503.06531},
year = {2025}
}