Momentive 中的双管问题检测
计算与语言
2022-03-08 v1 机器学习
摘要
Momentive 提供市场研究、客户体验和企业反馈方面的解决方案。其技术源自平台上数十亿条对提问的真实回复。然而，人们可能会创建带有偏见的题目。双管问题（double-barreled question, DBQ）是一种常见的偏见题目，在一个问题中询问两个方面。例如：“你是否同意以下陈述：食物很好吃，并且服务很棒。”由于一个问题包含两部分，DBQ 会让受访者感到困惑。DBQ 对受访者和问卷所有者均有影响。Momentive 旨在检测 DBQ，并建议问卷创建者做出修改，以收集高质量无偏见的调查数据。已有研究提出通过检查语法连词的存用来检测 DBQ。尽管这是一种简单的基于规则的方法，但由于连词也可能出现在构造合理的问题中，该方法容易出错。我们在本工作中提出一种端到端的机器学习方法用于 DBQ 分类。我们使用主动学习处理这一不平衡数据，并比较了最先进的嵌入算法以将文本数据转换为向量。此外，我们提出了一种模型解释技术，将向量级的 SHAP 值传播为问题中每个词的 SHAP 值。我们得出结论：在使用 Momentive 调查数据的离线实验中，就精确率和运行时间而言，带有最大池化的 word2vec 子词嵌入是最优的词嵌入表示。A/B 测试和生产指标表明，该模型给业务带来了正向变化。据我们所知，这是首个用于 DBQ 检测的机器学习框架，并成功使 Momentive 区别于竞争对手。我们希望我们的工作能为偏见问题检测的机器学习方法提供启示。
引用
@article{arxiv.2203.03545,
title = {Double-Barreled Question Detection at Momentive},
author = {Peng Jiang and Krishna Sumanth Muppalla and Qing Wei and Chidambara Natarajan Gopal and Chun Wang},
journal= {arXiv preprint arXiv:2203.03545},
year = {2022}
}