Разделы о факторах риска в документах для IPO обычно напоминают предупреждения о непогоде: охватывают всё, но ничего не утверждают наверняка. В последней версии документов Anthropic формулировки конкретнее. В обновлённой документации для IPO компания сообщает инвесторам, что вскоре может приблизиться к моменту, когда ИИ ускорит создание более совершенного ИИ, и что наступление этого момента она может не заметить. Очень хочется сказать «Skynet», но стоит сдержаться: формулировки самой компании осторожнее заголовков.
Риск, у которого наконец появилось имя
Согласно публикации, Anthropic впервые подробно описала риск рекурсивного самосовершенствования (RSI). RSI — это цикл обратной связи. Система ИИ помогает создавать более совершенные модели, те помогают создавать ещё более совершенные, и прогресс начинает ускоряться сам по себе.
Эту идею обычно рассматривают как возможный поворотный момент для всей области, причём сторонников и критиков у неё примерно поровну.
- Оптимисты ожидают резкого роста производительности, научных открытий и автоматизации самих исследований.
- Пессимисты опасаются, что самосовершенствующиеся системы могут развиваться быстрее, чем люди успеют обеспечить их безопасность.
В документах Anthropic признаются обе точки зрения. При этом компания не принимает ничью сторону.
Компания уже кое-что из этого делает
Самое конкретное признание заключается в том, что этот цикл — не гипотеза. Компания заявляет, что уже использует ИИ в собственных исследованиях и при разработке новых моделей.
Именно эта практика, по словам самой компании, может привести к тому, что возможности будут расти быстрее, чем разработчики смогут проверять безопасность, надёжность и соответствие человеческим целям. Инструмент и источник опасности — одно и то же. Для технологий это не редкость, но инвесторам об этом редко говорят настолько прямо.
Скачок, которого не замечаешь
Дальше начинается неудобная часть. Anthropic заявляет, что не всегда сразу замечала значительные скачки в возможностях своих моделей. Компания также допускает, что будущие ускорения могут быть замечены лишь постфактум.
Заявление о рисках, главный тезис которого состоит в том, что компания может не заметить приближения риска, — редкость. Это честно и не особенно успокаивает.
Порог, установленный самой компанией
В документах говорится, что внутренние оценки и прогнозы для будущих моделей указывают на вполне реальную возможность. В ближайшее время компания может достичь установленного ею самой порога, связанного с резким ускорением прогресса за счёт ИИ.
Anthropic осторожно добавляет, что ни одна из её существующих моделей не была признана соответствующей этому критерию. Так что речь идёт о траектории развития, а не о текущем состоянии. Стоит также отметить, что мерку задала сама Anthropic. Компания провела черту и теперь сообщает инвесторам, что вскоре может оказаться рядом с ней.
Люди остаются в контуре — пока что
Противовесом служит заявление об автономности. Согласно документам, Anthropic не ожидает, что в обозримом будущем поручит Claude полностью автономно проектировать и создавать следующие поколения передовых моделей без контроля со стороны человека.
На фразу «в обозримом будущем» здесь, как это часто бывает, приходится немалая смысловая нагрузка. И всё же она отделяет компанию, которая активно использует ИИ в исследованиях, от компании, которая исключила людей из процесса, и документы относят Anthropic к первой группе.
О чём не говорится в публикации
Этот материал — краткий пересказ, и обширных цитат из самих документов в нём нет. Не хватает нескольких деталей:
- как определяется или измеряется этот порог
- какие оценки используются для составления прогнозов
- что означает «в ближайшем будущем» в месяцах или годах
- какую часть исследований и разработок Anthropic сегодня выполняет ИИ
Пока эти подробности не опубликованы, самая осторожная трактовка — самая прямая. Компания говорит, что теперь она ближе к режиму исследований, ускоряемых ИИ, чем прежде, что черту она ещё не пересекла и что может не заметить её, когда пересечёт.
Разделы о факторах риска обычно успокаивают читателей тем, что руководство заметит приближение проблем. Здесь же признаётся, что оно может этого не заметить. Странное утешение, зато хотя бы честное.