基于Transformer语言模型的TransDis用于中文发散思维自动评估
计算与语言
2023-12-27 v3 应用统计
摘要
语言模型在自动创造力评估中日益流行，通过生成语义距离来客观衡量创意的质量。然而，目前缺乏评估中文创意的自动评估系统。为弥补这一空白，我们开发了TransDis，一个使用基于transformer的语言模型的评分系统，能够为中文的替代用途任务（AUT）回答提供有效的原创性（质量）和灵活性（多样性）分数。研究1表明，由三个基于transformer的模型组成的潜在模型评分原创性因子强烈预测人类原创性评分，且模型评分灵活性与人类灵活性评分也强相关。效度分析表明，模型评分原创性和灵活性与其它创造力测量指标正相关，展现出与人类评分相似的效度。研究2和3显示，TransDis能有效区分被要求提供创造性用途与一般用途的参与者（研究2），以及被要求以灵活方式与坚持方式生成想法的参与者（研究3）。我们的发现表明，TransDis可作为一种可靠且低成本的工具，用于测量中文中的想法原创性和灵活性，并可能为其它语言的自动创造力评估铺平道路。我们提供了一个开放平台，用于计算中文及超过50种其它语言的AUT回答的原创性和灵活性（https://osf.io/59jv2/）。
引用
@article{arxiv.2306.14790,
title = {Automatic Assessment of Divergent Thinking in Chinese Language with TransDis: A Transformer-Based Language Model Approach},
author = {Tianchen Yang and Qifan Zhang and Zhaoyang Sun and Yubo Hou},
journal= {arXiv preprint arXiv:2306.14790},
year = {2023}
}