基于方差感知原型网络从放射学报告中进行元学习病理分类
机器学习
2022-11-11 v2 计算与语言
摘要
像 BERT 和 GPT 这样的大型预训练基于 Transformer 的语言模型改变了自然语言处理（NLP）的格局。然而，微调此类模型仍需要每个目标任务的大量训练样本，因此标注多个数据集并在各种下游任务上训练这些模型变得耗时且昂贵。本工作中，我们提出对用于少样本文本分类的原型网络的一个简单扩展。我们的主要思想是用高斯分布替代类原型，并引入一个正则项以鼓励样本聚类在相应类质心附近。实验结果显示，我们的方法在 13 个公共与 4 个内部数据集上优于多种强基线。此外，我们将类分布用作工具，以在部署期间检测潜在的分布外（OOD）数据点。
引用
@article{arxiv.2210.13979,
title = {Meta-learning Pathologies from Radiology Reports using Variance Aware Prototypical Networks},
author = {Arijit Sehanobish and Kawshik Kannan and Nabila Abraham and Anasuya Das and Benjamin Odry},
journal= {arXiv preprint arXiv:2210.13979},
year = {2022}
}
备注
EMNLP'22 Industry Track. Extended Abstract presented at Machine Learning for Health (ML4H) symposium 2022, November 28th, 2022, New Orleans, United States & Virtual, http://www.ml4h.cc, 16 pages