SummAct: 通过交互式行为概述揭示用户意图
人机交互
2024-10-14 v1
摘要
最近的研究突出了将交互式行为建模于自然语言之间的潜力。我们提出了交互式行为概述作为一种新型计算任务，并演示其对自动发现与图形用户界面交互的潜在用户意图具有重要作用。为解决此任务，我们引入SummAct，这是一种分层方法，用于将低级别输入操作概括为高级别意图。SummAct首先使用大型语言模型和情境学习从用户操作中识别子目标。随后通过微调模型以获得高级别意图，采用一种新型的用户界面元素注意力机制，以保留概述期间嵌入在UI元素中的详细上下文信息。通过一系列评估，我们展示SummAct在桌面和移动界面以及交互任务中均显著优于基线方法，提升幅度最高可达21.9%。我们进一步展示了三项激动人心的交互式应用受益于SummAct：交互式行为预测、自动行为同义词识别以及语言驱动的行为检索。
引用
@article{arxiv.2410.08356,
title = {SummAct: Uncovering User Intentions Through Interactive Behaviour Summarisation},
author = {Guanhua Zhang and Mohamed Ahmed and Zhiming Hu and Andreas Bulling},
journal= {arXiv preprint arXiv:2410.08356},
year = {2024}
}