Как ИИ-агенты учатся по видео на YouTube

ИИ становится всё умнее — и вроде бы уже может справиться с самыми разными задачами в интерфейсе компьютера. Но вот парадокс: в настоящих программах даже самые продвинутые агенты до сих пор неловко кликают не туда, путают кнопки и часто просто теряются. Проблема не только в алгоритмах — не хватает настоящих, живых примеров, как действовать шаг за шагом.

Команда исследователей неожиданно нашла решение там, где его никто толком не искал: на YouTube. Вместо сложной ручной разметки они научили ИИ учиться на туториалах обычных пользователей и вычленять из роликов подробные инструкции по работе с реальными приложениями — вплоть до точек кликов и строк ввода текста. Оказалось, такого обучения хватает, чтобы агенты научились уверенно разбираться в браузерах, редакторах и медиаплеерах.

Почему именно такой способ оказался рабочим? И как это открывает новый этап в развитии ИИ для повседневных задач — без огромных затрат и костылей? Разбираемся, как машины начинают учиться «по-взрослому».