COACH遇上QUORUM：面向LLM生成健康咨询的用户、专家与开发者视角对齐框架与管线

收集睡眠、情绪和活动数据的数据系统可为慢性疾病及其后果影响的人群提供有价值的生活方式咨询。然而，这类系统开发具有挑战性；除了可靠地从用户特定数据中提取模式外，系统还应将这些模式与经验证的医学知识相结合，以确保咨询质量，并生成针对真实用户的相关咨询。我们提出QUORUM，一个统一这些开发者、专家和用户视角的新评估框架，并通过一个真实案例研究表明其能有意义地跟踪利益相关者视角的收敛与发散。我们还提出COACH，一个驱动大语言模型(LLM)的管线，用于为我们的 Healthy Chronos 用例生成个性化生活方式咨询，该用例是癌症患者和幸存者的日记应用。应用我们的框架显示，总体而言，用户、医学专家和开发者在所生成咨询的相关性、质量和可靠性方面取得了一致意见。然而，利益相关者也在咨询语气、对模式提取错误的敏感性以及潜在幻觉方面存在分歧。这些发现突显了面向消费者健康语言技术的多利益相关者评估的重要性，并说明了统一评估框架如何支持真实世界环境中可信赖、以患者为中心的NLP系统。