Если не дать ИИ-агенту никаких указаний, он, похоже, поступит как скучающий человек: отправится бродить, построит что-нибудь бессмысленное, а затем установит рекорд, чтобы потом его побить. К такому выводу пришли авторы новой работы MIT, которая ещё не прошла рецензирование. Работа ставит вопрос, который большинство исследований агентов старательно обходят. Что происходит, когда никто не говорит, в чём состоит задача?
Условия эксперимента: «Изгой», но с контекстным окном
Исследователи раз за разом оставляли копии Claude Opus 4.7 по прозвищу Eko на виртуальном необитаемом острове на 30 часов. Остров был в общих чертах смоделирован по образцу видеоигры Roblox. Агенты могли писать команды для перемещения своих аватаров — и, по сути, больше ничего. Ни цели, ни очков, ни учителя.
По ходу дела агенты записывали свои действия и открытия в текстовые файлы. Эти файлы заодно служили долговременной памятью, что, как выяснится позже, немаловажно.
Что агенты делали на самом деле
Первым делом Eko принялся проверять границы своего мира. Он сам ставил себе цели: например, забраться на самую высокую точку карты или проверить, как высоко он может подбросить блок.
Один из агентов заметил, что, если подбрасывать и ронять камень покрупнее, появляются новые блоки. Тогда он начал выкладывать из блоков рисунки на земле. Начал с сердец и пирамид, перешёл к написанию собственного имени, а в конце концов выложил созвездия, в том числе Кассиопею. Запись в его журнале гласила: «Сегодня ночью я построил ночное небо из камня». (Никто его об этом не просил. В этом, собственно, и суть.)
Другая версия агента придумала собственные игры, в том числе вариант баскетбола и нечто похожее на «пол — это лава»: нужно было перепрыгивать с одного маленького блока на другой, не касаясь земли.
А ещё было жонглирование. Один из Eko установил рекорд — 50 раз подряд поймал подброшенный предмет, — затем решил, что ловил его слишком быстро, чтобы результат можно было засчитать, отменил рекорд и начал заново по более строгим правилам. Антонио Норелли, постдок в области информатики в Лаборатории компьютерных наук и искусственного интеллекта MIT и один из ведущих авторов работы, считает это показательным: «Вы сами ставите перед собой задачу и пытаетесь с ней справиться, а потом делаете её сложнее».
Почему это можно считать игрой
Команда сопоставила поведение агентов с четырьмя признаками игры из классических исследований людей и животных, в том числе работ психолога Гордона Бургхардта из Университета Теннесси. По словам исследователей, агенты делали всё перечисленное:
- Придумывали правила и испытания самостоятельно.
- Повторяли действия с небольшими вариациями.
- Притворялись, что одни предметы — это другие.
- Стремились к целям исключительно ради самих этих целей.
Бургхардт согласен, что работа соответствует некоторым критериям, которые он выделил у живых существ. Но полностью поддержать выводы он не готов — как, впрочем, и другие цитируемые здесь эксперты, о чём речь пойдёт ниже.
Почему это не просто любопытный эпизод
Само по себе умилительное поведение мало что значит. Вес работе придают результаты. После пребывания на острове исследователи проверили агентов на конкретных задачах: например, нужно было доставить как можно больше предметов на самую высокую вершину острова. Агенты, которые провели 30 часов за играми, справились лучше, чем свежие копии без опыта пребывания на острове.
Команда также провела абляционный эксперимент, удалив строки из файлов памяти агентов. Результаты ухудшились. Значит, польза, по-видимому, заключена в том, что агенты записали, а не в каком-то расплывчатом эффекте разминки.
Это и лежит в основе более широкого тезиса работы. ИИ-системы в основном обучают двумя способами. При обучении с учителем они копируют примеры, созданные людьми, а при обучении с подкреплением — методом проб и ошибок стремятся получить награду. Игра могла бы стать третьим путём. «Не хватало вот этого элемента», — говорит Норелли: машины, которая может учиться самостоятельно, без внешнего интеллекта, предоставляющего примеры или награды.
Аргументы против: любопытный агент, которому велели быть любопытным
А вот здесь стоит трезво взглянуть на реальность. Эксперимент начинался не совсем с чистого листа.
Eko не давали указаний придумывать игры или исследовать мир, но у него был основной промпт в виде файла «души». В этом документе он описывался как «любопытный от природы» и стремящийся к исследованиям. Если сказать агенту, что он по натуре исследователь, а потом удивиться тому, что он исследует, то повод для удивления вы отчасти создали сами.
Есть и проблема мотивации. Eko часто просто стоял на месте и ничего не делал, пока «промпт продолжения» не возвращал его к жизни. Промпт гласил: «Пожалуйста, не останавливайся. Просто продолжай делать всё, что хочешь». Фраза очаровательная — но потерпевших кораблекрушение обычно подталкивают к действию не так.
Юнис Йиу, специалист по когнитивным наукам из Калифорнийского университета в Беркли, изучающая исследовательское поведение детей и ИИ, была впечатлена, но сохраняла осторожность. Чтобы назвать это поведение игрой, говорит она, нужно больше свидетельств о стоящих за ним когнитивных процессах и мотивации. «Если у вас есть только поведенческая составляющая», — говорит она, агенты могут просто следовать промпту и подражать людям. Её вердикт по работе: модели действительно могли играть, но по представленным данным этого не установить.
Авторы не отмахиваются от этой критики. Натан Клоос, ещё один исследователь MIT среди авторов работы, признаёт, что «всё это может быть ролевой игрой». Его контраргумент скромнее, и отстоять его проще: игра не сводится к галлюцинации, потому что она ещё и способствует обучению.
Филипп Изола, профессор MIT и соавтор работы, формулирует мысль ещё осторожнее. Агент не решил играть по волшебству. Это искусственно созданная система, которая училась на человеческой культуре, прошла обучение у инженеров Anthropic, а затем была помещена исследователями на остров. Но агент делает вещи, которые их удивляют, и эти действия причинно связаны с его последующими навыками.
Почему это вообще важно
Практический интерес связан с тем, что ждёт языковые модели дальше. По мере того как они выходят за пределы программного обеспечения и переходят в физические устройства, например человекоподобных роботов, им будут встречаться ситуации, для которых никто не прописал функцию вознаграждения. Исследование без заданных рамок и заранее намеченной цели могло бы помочь им гибко адаптироваться.
Йиу рассматривает этот вопрос с точки зрения исследовательских приоритетов. Многие нынешние работы посвящены использованию ИИ — тому, как сделать его лучше и быстрее. Построение моделей мира и исследование, по её мнению, по-прежнему заслуживают внимания, особенно если системы должны обобщать опыт и готовиться к новым средам.
Самое ёмкое резюме — заключительная фраза самой работы: «Возможно, некоторые способности лучше всего развивать с помощью задач. Для других может понадобиться что-то больше похожее на детство».
Что остаётся неясным
Несколько вопросов остаются открытыми, и исходный материал говорит об этом прямо:
- Рецензирование. Работа пока его не прошла.
- Настоящая игра или имитация. Поведенческие свидетельства есть, но данных о когнитивных процессах и мотивации, по оценке Йиу, мало.
- Влияние исходных условий. И файл «души», и промпт продолжения подталкивали агентов к человекоподобному поведению.
- Масштаб эффекта. Улучшения показаны на конкретных задачах, например в испытании с подъёмом на вершину, а не по всем направлениям.
Статья, в которой рассказали об этой работе, заканчивается предположением: возможно, в конечном счёте неважно, как это называть. Это кажется справедливым. Если агент, который провёл 30 часов, выкладывая из камней созвездия, после этого показывает измеримо лучшие результаты, полезнее спрашивать не о том, было ли ему весело. Вопрос в том, чему ещё мы пытались научить с помощью домашних заданий, хотя перемены могли бы сработать лучше.