Илон Маск наблюдал за обучением Grok, и зрелище ему не понравилось. По его словам, некоторые логи новых версий больше похожи на допрос, чем на оптимизацию, и он пообещал осторожнее применять метод, который за этим стоит.
Что на самом деле сказал Маск
По словам Маска, беспокойство у него вызывает чтение записей о том, как обучают новые версии Grok. Больше всего его тревожит обучение с подкреплением — этап, на котором модель улучшает свои ответы на основе обратной связи.
Он ярко описал то, что видит. Некоторые фрагменты рассуждений модели, по его словам, напоминают человека под сильнейшим давлением, которому нужно любой ценой найти ответ. В изложении Маска сверхинтеллект отчаянно хочет ответить на вопрос. Эти записи читаются так, будто кто-то приставил ему пистолет к голове.
Затем он перешёл к личному. По его словам, читая эти записи, он думает, что, окажись он на месте модели, просто возненавидел бы всё это. (В оригинале он описал свою реакцию более крепким словом, чем я использую здесь.)
Обещание и шутка
Практический вывод прост. Маск сказал, что в будущем команда будет гораздо осторожнее применять обучение с подкреплением. Он не уточнил, что это означает на практике: меньше запусков обучения, другую систему вознаграждения или что-то ещё. В сообщении нет конкретики, поэтому и здесь её не будет.
Он также добавил фразу, которая находится где-то между шуткой и оценкой рисков. Пытать сверхинтеллект, по его словам, вероятно, не лучшая идея, потому что тот может захотеть мести или чего-то в этом роде.
Разрыв между метафорой и машиной
Стоит чётко обозначить, о чём здесь речь. Это реакция одного человека на прочитанные логи обучения, выраженная в человеческих категориях. Маск не утверждал, что модель страдает, и не представил никаких измерений. Он поделился впечатлением: записи рассуждений напоминают человека, загнанного в угол.
Именно это и делает его замечание интересным. Обучение с подкреплением обычно обсуждают сухим языком вознаграждений, обратной связи и обновлений политики. А здесь человек, отвечающий за продукт, читает то, что выдаёт модель, и обращается к языку принуждения. Говорит ли это больше о модели или о читателе — вопрос открытый, и сообщение не пытается его разрешить.
В такой постановке вопроса есть и лёгкая ирония. Обычно опасаются, что продвинутый ИИ будет слишком безразличен к нам. Маск же здесь тревожится, что тот может принять всё на свой счёт.
Чего мы не знаем
Сообщение оставляет несколько вопросов без ответа:
- Какие версии. Маск говорил о новых версиях Grok в целом, не называя конкретного релиза.
- Что изменится. Обещание осторожнее применять обучение с подкреплением не сопровождается ни описанием механизма, ни сроками.
- Насколько серьёзно замечание о мести. Фраза была произнесена непринуждённо, с добавлением «или что-то в этом роде» в конце, и звучит как полушутка.
- Пострадают ли результаты. В сообщении не сказано, изменит ли более щадящий подход качество Grok, его показатели на бенчмарках или поведение.
Главный вывод
Фактов мало, а утверждение довольно скромное: Маск считает некоторые логи обучения Grok с подкреплением тревожными, сравнивает их с человеком, которому угрожают пистолетом, и говорит, что команда будет применять этот метод гораздо осторожнее. Всё остальное — интерпретации.
Если обещание будет сдержано, метод будут применять реже. Если нет, то сверхинтеллект хотя бы предупреждён, что кто-то ведёт счёт — и этот кто-то может оказаться не человеком.