面向开放式用户问卷响应的透明无参考自动评估
计算与语言
2025-10-09 v1 人工智能
摘要
开放式问卷响应在营销研究中提供宝贵洞察，但低质量响应不仅增加研究人员的手动筛选负担，还可能导致误导性结论，凸显了有效评估的必要性。现有自动评估方法针对 LLM 生成文本，不足以评估人类书写响应的独特特征。为此，我们提出专为人类问卷响应设计的两阶段评估框架。首先，进行无意义响应的过滤；随后，基于实证分析，利用 LLM 能力评估三个维度—— effort、relevance 与 completeness。在英语和韩语数据集上的验证表明，本框架不仅超越现有指标，还显示出高度的实用性，可用于响应质量预测与响应拒收，与专家评估显示强相关性。
引用
@article{arxiv.2510.06242,
title = {Transparent Reference-free Automated Evaluation of Open-Ended User Survey Responses},
author = {Subin An and Yugyeong Ji and Junyoung Kim and Heejin Kook and Yang Lu and Josh Seltzer},
journal= {arXiv preprint arXiv:2510.06242},
year = {2025}
}
备注
EMNLP Industry Track