无障碍文本输入：通过大语言模型预测移动应用中文本输入的提示文本

移动应用已成为访问和参与各种环境不可或缺的工具，尤其对于低视力用户而言。视力受损用户可以使用屏幕阅读器读取每个屏幕的内容，并理解需要操作的内容。屏幕阅读器需要读取文本输入组件中的提示文本属性，以提醒视力受损用户填写什么内容。不幸的是，根据我们对4501个包含文本输入的Android应用的分析，超过0.76的应用缺少提示文本。这些问题主要是由于开发者在考虑视力受损个体时缺乏意识造成的。为克服这些挑战，我们开发了一个基于大语言模型的提示文本生成模型，名为HintDroid，它分析输入组件的GUI信息，并使用上下文学习来生成提示文本。为确保提示文本生成的质量，我们进一步设计了一个基于反馈的检查机制来进一步调整提示文本。自动化实验展示了高BLEU值，用户研究进一步证实了其实用性。HintDroid不仅可以帮助视力受损个体，还可以帮助普通人理解输入组件的要求。HintDroid演示视频：https://youtu.be/FWgfcctRbfI。