预训练 Transformer 如何整合上下文关键词？在人本计算中的应用
计算与语言
2021-11-09 v1
摘要
在分类任务中，处理文本片段与元数据通常需借助多模态方法。当这些元数据本身为文本时，很自然地会将其与预训练 transformer 内在结合使用，以利用模型内部编码的语义信息。本文描述了如何通过向每条待分类推文添加危机事件类型来改进人道主义分类任务。基于对该模型权重与行为的额外实验，文章指出了所提出的神经网络方法如何部分过拟合 Crisis Benchmark 的特性，从而更好地凸显该模型无疑仍在学习和利用元数据文本语义的机制。
引用
@article{arxiv.2111.04052,
title = {How does a Pre-Trained Transformer Integrate Contextual Keywords? Application to Humanitarian Computing},
author = {Barriere Valentin and Jacquet Guillaume},
journal= {arXiv preprint arXiv:2111.04052},
year = {2021}
}
备注
Oral ISCRAM2021