Meta-RTL：面向低资源常识推理的基于强化学习的元迁移学习
计算与语言
2025-04-14 v4 人工智能
摘要
元学习已被广泛用于利用富资源源任务来提升低资源目标任务的性能。然而，大多数现有的元学习方法平等地对待不同源任务，忽略了知识迁移中源任务与目标任务的相关性。为缓解此问题，我们提出了一种用于低资源常识推理的基于强化学习的多源元迁移学习框架（Meta-RTL）。在该框架中，我们提出了一种基于强化学习的方法来动态估计源任务权重，以衡量相应任务在元迁移学习中对目标任务的贡献。元模型的一般损失与特定源时序元模型在采样目标数据上的特定任务损失之差，被作为奖励输入到强化学习模块的策略网络中。该策略网络构建于 LSTM 之上，以捕获元学习迭代过程中对源任务权重估计的长期依赖。我们在三个常识推理基准数据集上，分别使用 BERT 和 ALBERT 作为元模型的主干来评估所提出的 Meta-RTL。实验结果表明，Meta-RTL 显著优于强基线及先前的任务选择策略，并在极低资源设置下取得了更大的提升。
引用
@article{arxiv.2409.19075,
title = {Meta-RTL: Reinforcement-Based Meta-Transfer Learning for Low-Resource Commonsense Reasoning},
author = {Yu Fu and Jie He and Yifan Yang and Qun Liu and Deyi Xiong},
journal= {arXiv preprint arXiv:2409.19075},
year = {2025}
}