无需人类作答模式学习潜参数：基于人工群体的项目反应理论
计算与语言
2019-09-02 v1
摘要
将项目反应理论（Item Response Theory, IRT）引入自然语言处理（NLP）任务，可提供关于模型性能与行为的宝贵信息。传统上，IRT 模型利用人类作答模式（response pattern, RP）数据来学习，这对于训练深度神经网络（DNN）所需的大规模数据集而言是一个显著瓶颈。本文提出使用由 DNN 模型组成的人工群体生成的 RP 来学习 IRT 模型。我们通过针对两个 NLP 任务的定量与定性分析，证明了使用 DNN 生成的数据学习 IRT 模型的有效性。针对自然语言推理与情感分析，由人类与机器 RP 学习得到的参数表现出中等至较大的正相关性。我们展示了潜难度项目参数的一个用例，即训练集过滤，并表明利用难度对训练数据进行采样优于基线方法。最后，我们指出了人类对题目难度的预期与根据机器 RP 估计的难度不一致的情况。
引用
@article{arxiv.1908.11421,
title = {Learning Latent Parameters without Human Response Patterns: Item Response Theory with Artificial Crowds},
author = {John P. Lalor and Hao Wu and Hong Yu},
journal= {arXiv preprint arXiv:1908.11421},
year = {2019}
}
备注
EMNLP 2019