CLMSM：一种用于程序性文本预训练的多任务学习框架
计算与语言
2023-10-24 v1 人工智能
摘要
本文提出 CLMSM，一个领域特定的持续预训练框架，从大量程序性食谱中学习。CLMSM 使用多任务学习框架优化两个目标：a) 利用困难三元组进行对比学习，以学习过程中各实体间的细粒度差异；b) 一种新颖的掩码步骤建模目标，以学习程序的逐步上下文。我们在三个数据集上测试 CLMSM 在跟踪实体与对齐两程序间动作的下游任务上的性能，其中之一是不同于预训练数据集的开放领域数据集。我们表明 CLMSM 不仅在食谱（领域内）上优于基线，还能泛化至开放领域程序性 NLP 任务。
引用
@article{arxiv.2310.14326,
title = {CLMSM: A Multi-Task Learning Framework for Pre-training on Procedural Text},
author = {Abhilash Nandy and Manav Nitin Kapadnis and Pawan Goyal and Niloy Ganguly},
journal= {arXiv preprint arXiv:2310.14326},
year = {2023}
}
备注
Accepted to EMNLP Findings 2023, 14 pages, 4 figures