全模态信息交互

生成式人工智能（GenAI）的出现正在改变信息交互。几十年来，谷歌和必应等搜索引擎一直是大众查找相关信息的主要手段。它们以相同的标准格式（所谓的“10条蓝色链接”）提供搜索结果。最近，通过自然语言与基于AI的代理聊天，并让GenAI实时自动综合答案（基于排名靠前的结果），正在大规模改变人们交互和消费信息的方式。这两种信息交互模态（传统搜索和AI驱动的聊天）共存于当前的搜索引擎中，要么松散耦合（例如，作为单独的选项/标签页），要么紧密耦合（例如，作为嵌入在传统搜索结果页面中的聊天答案）。我们认为，这两种不同模态（以及潜在的许多其他模态）的存在，为重新构想搜索体验、利用多种模态的优势以及开发支持它们之间无缝流动的系统与策略创造了机会。我们将其称为全模态体验。与单模态体验（其中只有一种模态可用和/或用于当前任务）不同，全模态体验向用户提供多种模态（多模态），直接支持模态之间的转换（跨模态），并无缝组合模态以定制任务辅助（跨模态转换）。虽然我们的重点是搜索和聊天，并基于对100多名近期在这两种模态上执行常见任务的个体的调查见解，我们也提出了一个更通用的愿景，即利用多种模态和GenAI的新兴能力实现信息交互的未来。