TIER-A：面向信息抽取的去噪学习框架
计算与语言
2022-11-22 v1 人工智能
信息检索
机器学习
摘要
随着深度神经语言模型的发展，信息抽取近期取得了巨大进展。然而，深度学习模型常在噪声数据点上过拟合，导致性能不佳。本工作中，我们考察了信息熵在过拟合过程中的作用，并得出关键见解：过拟合是一个过度自信与熵减的过程。受此性质启发，我们提出了一种简单而有效的协同正则联合训练框架 TIER-A，即带温度校准与信息熵正则的聚合联合训练框架（Aggregation Joint-training Framework with Temperature Calibration and Information Entropy Regularization）。我们的框架由若干结构相同的神经模型组成。这些模型联合训练，我们通过引入温度与信息熵正则来避免过拟合。在两个广泛使用但含噪声的数据集 TACRED 与 CoNLL03 上的大量实验证明了我们假设的正确性与框架的有效性。
引用
@article{arxiv.2211.11527,
title = {TIER-A: Denoising Learning Framework for Information Extraction},
author = {Yongkang Li and Ming Zhang},
journal= {arXiv preprint arXiv:2211.11527},
year = {2022}
}