字典辅助的监督对比学习
计算与语言
2022-10-28 v1 机器学习
摘要
社会科学中的文本分析通常涉及使用专业词典对抽象概念进行推理，例如对经济的看法或社交媒体上的辱骂。这些词典允许研究者注入领域知识，并标注与感兴趣概念相关的词语的微妙用法。我们引入了字典辅助的监督对比学习 (DASCL) 目标，允许研究者在微调预训练语言模型时利用专业词典。文本首先被关键词简化：用一个常见且固定的词元替换语料库中出现在与感兴趣概念相关的词典中的任何单词。在微调过程中，监督对比目标拉近同类原始文本与关键词简化文本的嵌入，同时推远不同类别文本的嵌入。同类别的关键词简化文本在文本上比其原始文本对应物更相似，这进一步拉近了同类别的嵌入。与单独使用交叉熵以及替代的对比和数据增强方法相比，将 DASCL 与交叉熵结合在少样本学习设置和社交科学应用中提升了分类性能指标。
引用
@article{arxiv.2210.15172,
title = {Dictionary-Assisted Supervised Contrastive Learning},
author = {Patrick Y. Wu and Richard Bonneau and Joshua A. Tucker and Jonathan Nagler},
journal= {arXiv preprint arXiv:2210.15172},
year = {2022}
}
备注
6 pages, 5 figures, EMNLP 2022