超越掩码语言建模的上下文表示学习
计算与语言
2022-04-11 v1
摘要
诸如 BERT 之类的掩码语言模型（MLMs）如何学习上下文表示？本工作中，我们分析 MLMs 的学习动态。我们发现 MLMs 采用采样嵌入作为锚点来估计并向表示中注入上下文语义，这限制了 MLMs 的效率与效果。为解决这些问题，我们提出 TACO，一种简单而有效的表示学习方法，直接对全局语义建模。TACO 提取并对齐隐藏在上下文化表示中的上下文语义，以鼓励模型在生成上下文化表示时关注全局语义。在 GLUE 基准上的实验表明，TACO 相比现有 MLMs 实现了高达 5 倍的加速和平均最高 1.2 分的提升。代码见 https://github.com/FUZHIYI/TACO。
引用
@article{arxiv.2204.04163,
title = {Contextual Representation Learning beyond Masked Language Modeling},
author = {Zhiyi Fu and Wangchunshu Zhou and Jingjing Xu and Hao Zhou and Lei Li},
journal= {arXiv preprint arXiv:2204.04163},
year = {2022}
}
备注
ACL 2022