ИИ-модель от Anthropic на протяжении месяца не может «победить» игру Pokémon

• Claude 3.7 Sonnet научился планировать, но застревает на простых задачах.
• ИИ не справляется с навигацией в 2D-мире и ошибается в запоминании данных.
• Улучшение визуального восприятия и расширение контекста могут повысить эффективность.

В феврале 2025 гоода в рамках тестирования возможностей ИИ компания Anthropic запустила проект Claude Plays Pokémon. В рамках этой инициативы их последняя модель Claude 3.7 Sonnet управляет персонажем в классической игре для Game Boy. Более месяца ИИ пытается пройти игру, но пока не в состоянии «победить» покемонов, отмечают эксперты ArsTechnica .

Разработчики утверждают, что новая модель лучше планирует, запоминает цели и адаптируется к изменениям в игре. Однако, несмотря на заметный прогресс, Claude все еще испытывает трудности: он может застревать в тупиках, бесполезно взаимодействовать с NPC или многократно совершать одни и те же ошибки.

Одним из главных вызовов стало восприятие визуальной информации. Claude 3.7 Sonnet использует текстовое понимание Pokémon и считывает игровые данные напрямую из памяти, но его способности интерпретировать пиксельные изображения ограничены. 

По словам разработчика проекта Дэвида Херши, ИИ лучше распознавал бы элементы в игре с более реалистичной графикой. Навигация также остается проблемой. Claude не всегда понимает, что здание непроходимо, и может часами упираться в стену.

Еще одна сложность связана с памятью. Контекстное окно модели ограничено 200 000 токенами, и при его заполнении ИИ пытается суммировать накопленные знания, что иногда приводит к потере важных деталей. 

Более того, если модель делает ошибку, она может надолго зациклиться на ложных данных, например, считая, что выход из локации находится не там, где он есть на самом деле. Однако последние версии Claude уже демонстрируют зачатки самокоррекции, что важно для будущего развития ИИ, считают эксперты.

По мнению разработчиков, расширение контекста и улучшение обработки изображений могут приблизить ИИ к прохождению игры. Пока же эксперимент показывает, что даже передовые языковые модели, несмотря на успехи в анализе текста и планировании, все еще сталкиваются с фундаментальными ограничениями при взаимодействии с миром. Это отдаляет их от настоящего AGI, подчеркнули аналитики.

Напомним, мы писали, что ИИ позволил парализованному пациенту управлять роборукой с помощью силы мысли.