GUI-агенты — это AI, который управляет графическим интерфейсом: кликает кнопки, заполняет формы, перемещается по меню. OpenAI запустила Operator (впоследствии интегрированный в ChatGPT как agent mode), Anthropic — Computer Use, Google — Project Mariner. Разбираем, что это такое и как работает.
Что такое GUI-агенты
Традиционные AI-агенты работают через API: отправляют HTTP-запросы, получают JSON. GUI-агенты работают через визуальный интерфейс: «видят» экран, анализируют элементы, совершают действия — как человек.
Как это работает
- Захват экрана: агент делает скриншот или читает accessibility tree.
- Анализ: ML-модель определяет элементы интерфейса (кнопки, поля, меню).
- Планирование: LLM определяет последовательность действий для выполнения задачи.
- Выполнение: агент кликает, вводит текст, скроллит — через automation API (Playwright, Selenium) или native accessibility.
Конкурентный ландшафт
| Компания | Продукт | Подход | Статус | Ограничения |
|---|---|---|---|---|
| OpenAI | ChatGPT agent mode (ex-Operator) | Browser automation | Доступен (ChatGPT Plus) | Только web |
| Anthropic | Computer Use | Desktop automation | Beta (API) | Нужен human-in-the-loop |
| Project Mariner | Chrome extension | Доступен (AI Ultra) | Только Chrome, $249.99/мес | |
| Apple | App Intents | Native intents | iOS 26 | Только Apple-приложения |
Детальный обзор
OpenAI ChatGPT agent mode (бывший Operator)
Браузерный агент, который выполняет задачи в web: ищет товары, бронирует рестораны, заполняет формы. Изначально запущен как Operator в январе 2025, в июле 2025 интегрирован в ChatGPT как agent mode.
Плюсы: простой интерфейс, интеграция с ChatGPT.
Минусы: только web, не работает с чувствительными данными.
Anthropic Computer Use
Desktop-агент, который управляет любым приложением на компьютере: браузер, текстовый редактор, IDE, терминал. Работает через accessibility API.
Плюсы: работает с любым приложением, мощный.
Минусы: нужен human-in-the-loop для подтверждения, вопросы безопасности.
Google Project Mariner
Chrome-расширение, которое автоматизирует задачи в браузере. Доступно через подписку Google AI Ultra ($249.99/мес). Поддерживает до 10 задач одновременно.
Практические применения
Автоматизация рутинных задач
- Заполнение форм: агент заполняет десятки форм (заявки, отчёты, регистрация).
- Мониторинг: агент проверяет сайты на изменения (цены, наличие товара, статус заказа).
- Сбор данных: агент парсит информацию с десятков сайтов.
Тестирование ПО
GUI-агенты могут автоматизировать тестирование: кликать по кнопкам, заполнять формы, проверять результаты.
Accessibility
GUI-агенты могут помочь людям с ограниченными возможностями: управлять компьютером голосом, автоматизировать сложные жесты.
Ограничения и риски
- Скорость: GUI-агенты медленнее API-агентов. Задача, которая выполняется через API за секунды, через GUI — за минуты.
- Надёжность: интерфейсы меняются. Агент, который работал вчера, может сломаться сегодня.
- Безопасность: агент с доступом к desktop может натворить дел. Обязательные safeguards: human-in-the-loop, ограничения на действия.
- Стоимость: каждый скриншот + LLM-вызов увеличивает стоимость сложных задач.
Для разработчиков: как построить GUI-агента
Подход 1: Browser automation (Playwright + LLM)
from playwright.sync_api import sync_playwright
import openai
# Захват страницы
page = playwright.chromium.launch().new_page()
page.goto("https://example.com")
# Анализ через LLM
screenshot = page.screenshot()
elements = page.query_selector_all("button, input, a")
# Генерация действий
response = openai.chat.completions.create(
model="gpt-4o",
messages=[{
"role": "user",
"content": f"На этом скриншоте найди кнопку 'Submit' и нажми её."
}]
)Подход 2: Accessibility API
# macOS: Accessibility API
import ApplicationServices
# Получение элементов
app = ApplicationServices.NSRunningApplication.runningApplicationsWithBundleIdentifier_("com.apple.Safari")
elements = app[0].accessibilityAttributeValue_("AXChildren")
# Клик по элементу
element.performAction_("AXPress")Часто задаваемые вопросы
GUI-агенты заменят программистов?
Нет. GUI-агенты — инструмент для автоматизации рутинных задач. Сложная логика, архитектурные решения — это работа людей.
Безопасно ли использовать GUI-агентов?
С предосторожностями. Обязательно: human-in-the-loop для чувствительных действий, ограничения на доступ, логирование всех действий.
Какие GUI-агенты доступны сейчас?
ChatGPT agent mode (OpenAI) — доступен с подпиской Plus. Computer Use (Anthropic) — доступен через API в бета-версии. Project Mariner (Google) — доступен через подписку AI Ultra. App Intents (Apple) — в iOS 26.
