守護者：自然語言網頁自動化

最近，大型語言模型（LLM）已證明在作為AI助理的基礎上具有卓越的能力。其中一項正在探索的應用是遍歷各種網頁並與各種網頁UI元素互動，仍在不太被探索的領域。我們引入Steward，一款新型以LLM為基礎的網頁自動化工具，旨在作為成本效益高、可擴展且端到端解決方案，用於自動化網頁互動。傳統的瀏覽器自動化框架如Selenium、Puppeteer和Playwright在大規模網頁互動任務（例如研究YouTube和Twitter上的推薦算法）方面不可擴展。這些框架需要手動編程互動，限制了其在大規模或動態情境下的實用性。Steward通過將LLM能力與瀏覽器自動化集成，允許以自然語言驅動與網站互動，從而解決了這些限制。Steward通過接收自然語言指令，並主動規劃和執行網站上的動作序列，循環直到完成，成為面向開發人員和研究人員的實用工具。它以8.52至10.14秒的高效能完成動作，或每個動作0.028美元，平均每個任務0.18美元，通過緩存機制進一步縮減至4.8秒和0.022美元。它在真實網站上以40%的完成成功率運行任務。我們討論了 various design and implementation challenges，包括狀態表示、動作序列選擇、系統響應性、檢測任務完成以及緩存實現。