利用大语言模型和上下文学习从用户反馈中提取自洽的因果洞察
人工智能
2023-12-13 v1 计算与语言
机器学习
统计方法学
摘要
微软Windows反馈中心旨在接收客户关于各种主题的反馈，包括电源和电池等关键主题。反馈是了解用户对Windows及其生态系统体验的最有效方式之一。然而，反馈中心收到的海量反馈使得诊断报告问题的实际原因极具挑战性。为了更好地理解和分类问题，我们利用双机器学习（DML）将用户反馈与遥测信号关联起来。DML流程中面临的主要挑战之一是模型设计（例如因果图）需要领域知识，而这些知识有时不可用或难以获得。在这项工作中，我们利用大语言模型（LLM）的推理能力生成一个先验模型，该模型在一定程度上弥补了领域知识的不足，并可作为衡量反馈信息量的启发式方法。我们基于LLM的方法能够提取已知问题、发现新错误，并识别导致错误的序列事件，同时最小化域外输出。
引用
@article{arxiv.2312.06820,
title = {Extracting Self-Consistent Causal Insights from Users Feedback with LLMs and In-context Learning},
author = {Sara Abdali and Anjali Parikh and Steve Lim and Emre Kiciman},
journal= {arXiv preprint arXiv:2312.06820},
year = {2023}
}