提示与特质关系感知的跨提示作文特质评分
计算与语言
2023-08-30 v1 人工智能
摘要
自动作文评分(AES)旨在对给定提示(定义写作主题)所写的作文进行评分。多数现有AES系统假设对训练所用同一提示的作文评分,且只给出整体分。然而,此类设定与真实教育场景冲突:特定提示的预评分作文匮乏,且需要子评分细则的详细特质分。因此,预测未见提示作文的多种特质分(称为跨提示作文特质评分)是AES的一大待解挑战。本文提出一种鲁棒模型:提示与特质关系感知的跨提示作文特质评分器。我们通过作文-提示注意力编码提示感知的作文表征,并利用主题建模机制提取的主题连贯特征(无需标注数据),从而即使在跨提示设定下也考量作文的提示贴合度。为促进多特质评分,我们设计了封装特质间相关性的特质相似度损失。实验证明了模型的有效性,在所有提示与特质上均取得最优结果。在低资源提示与弱势特质上的显著提升进一步表明了本模型的优势。
引用
@article{arxiv.2305.16826,
title = {Prompt- and Trait Relation-aware Cross-prompt Essay Trait Scoring},
author = {Heejin Do and Yunsu Kim and Gary Geunbae Lee},
journal= {arXiv preprint arXiv:2305.16826},
year = {2023}
}
备注
Accepted at ACL 2023 (Findings, long paper)