具有特征投影与长度均衡损失的 readability 评估统一神经网络模型
计算与语言
2023-03-07 v2
摘要
对于可读性评估（readability assessment），传统方法主要采用具有数百个语言特征的机器学习分类器。尽管深度学习模型已成为几乎所有NLP任务的主流方法，但其在可读性评估中探索较少。本文提出一种基于BERT并带有特征投影与长度均衡损失（BERT-FP-LBL）的模型用于可读性评估。特别地，我们提出一种新的难度知识引导的半监督方法来提取主题特征，以补充传统语言特征。从语言特征中，我们采用投影滤波提取正交特征以补充BERT表示。此外，我们设计了一种新的长度均衡损失来处理数据长度分布差异极大的问题。我们的模型在两个英文基准数据集和一个中文教材数据集上取得了最先进的性能，并在一个英文数据集上达到了99%的近完美准确率。而且，我们提出的模型在一致性测试中取得了与人工专家相当的结果。
引用
@article{arxiv.2210.10305,
title = {A Unified Neural Network Model for Readability Assessment with Feature Projection and Length-Balanced Loss},
author = {Wenbiao Li and Ziyang Wang and Yunfang Wu},
journal= {arXiv preprint arXiv:2210.10305},
year = {2023}
}