UI-автоматизация сильно продвинулась: локаторы, удобные обёртки, self-healing, AI-assisted инструменты. Но между ручным тест-кейсом и исполняемым автотестом всё ещё остаётся инженерный слой: сценарий нужно перевести в код, описать действия, проверки, локаторы и подготовку данных.

В докладе я расскажу о нашем исследовании: можно ли сократить этот разрыв и дать AI-системе возможность исполнять ручные UI-тесты в blackbox-режиме — без локаторов, без доступа к внутренней структуре интерфейса и без заранее подготовленного whitebox-описания.
Мы рассмотрим архитектуру такого подхода: обогащение сценария, планировщик действий, слой выполнения на устройстве, работу с визуальным контекстом и отдельную проверку результата после каждого шага. На сквозном примере приложения заметок покажем, как система превращает человеческий сценарий в последовательность исполнимых действий и проверок.

Отдельно разберём практические ограничения: точность vision-моделей, нормализацию скриншотов, зацикливания агентов, стоимость одного AI-прогона, скорость ответа моделей и пригодность реальных ручных тест-кейсов к такой автоматизации. Также покажем результаты оценки тестового фонда с помощью crawler-а, который анализировал тысячи тест-кейсов и классифицировал их по применимости для AI-автоматизации.