用于直接时间关系抽取的鲁棒预训练神经模型
计算与语言
2020-04-15 v1 机器学习
摘要
背景：识别临床事件与时间表达式之间的关系，是在有意义地分析临床文本以用于高级 AI 应用中的关键挑战。尽管已有先前研究，最先进性能仍有显著改进空间。方法：我们研究了 BERT（Bidirectional Encoder Representations using Transformers，基于 Transformer 的双向编码器表示）的若干变体，其中一些涉及临床领域定制，另一些涉及改进架构和/或训练策略。我们使用直接时间关系数据集评估了这些方法，该数据集是 2012 年 i2b2 时间关系挑战数据集的一个语义聚焦子集。结果：我们的结果表明，采用更好预训练策略（包括使用 10 倍更大语料库）的 RoBERTa，在 1.00 量纲上总体 F 值绝对分数提升了 0.0864，从而相对于先前使用 SVM（support vector machine，支持向量机）模型取得的最先进性能，将错误率相对降低了 24%。结论：在现代上下文语言建模神经网络上，基于大规模语料库预训练，即使在高度细微的临床时间关系任务上也能取得令人印象深刻的性能。
引用
@article{arxiv.2004.06216,
title = {Robustly Pre-trained Neural Model for Direct Temporal Relation Extraction},
author = {Hong Guan and Jianfu Li and Hua Xu and Murthy Devarakonda},
journal= {arXiv preprint arXiv:2004.06216},
year = {2020}
}
备注
10 pages, 1 Figure, 7 Tables