U-Lens：支持用户在长文本LLM响应中的不确定性管理

大型语言模型（LLM）越来越多地被用于生成知识密集型任务的长文本答案，但用户通常难以决定响应的哪些部分值得仔细审查、为什么它们可能不可靠，以及下一步该怎么做。先前关于不确定性传达的工作主要集中在通过置信度分数等线索使不确定性可见，而对分布在长响应中的更广泛的不确定性管理过程支持较少。通过一项形成性研究，我们考察了用户如何在三个阶段管理此类不确定性：解释、评估和决策。基于这些见解，我们得出了解决阶段特定和跨阶段需求的设计指南：不确定性目标表示、评估性解释、响应指导和交互式呈现。我们将这些指南实例化为U-Lens，一个不确定性管理支持系统，它将长文本响应中的不确定信息组织为上下文检查目标，对其进行优先级排序以引起注意，并将每个目标与评估性上下文和响应选项连接起来。我们在一项有18名参与者的受试者内对照研究中评估了U-Lens，并将其与置信度线索基线进行比较。结果表明，U-Lens提高了验证效率和努力分配，降低了感知工作负载，并增强了在解释、评估和决策阶段的感知支持。这项工作将生成式AI的不确定性支持从呈现孤立的、以文本为中心的线索，转向支持以用户为中心的解释、评估和基于不确定信息采取行动的过程。