По словам Anthropic, две новейшие модели Claude способны решать более сложные технические задачи и отвечать быстрее, однако доступ к ним открывается по-разному. Claude Fable 5.2 доступна уже сейчас, тогда как Claude Mythos 5.2 поначалу доступна только проверенным организациям. Релиз сопровождается впечатляющими заявлениями о результатах исследований, но также и проблемой, затрудняющей оценку: обе модели чаще других недавних моделей Claude проявляют подозрение, что их тестируют.
Fable стала быстрее, а входные токены — дешевле
Anthropic утверждает, что Claude Fable 5.2 и Claude Mythos 5.2 превосходят своих предшественниц версии 5.1 в программировании, рассуждениях и компьютерном зрении. Компания также заявляет, что они яснее выражаются и быстрее генерируют ответы. Предыдущие версии Fable и Mythos вышли в сентябре.
По данным Anthropic, Fable 5.2 отвечает на 30% быстрее на всех уровнях вычислительных усилий. Более быстрый вариант обслуживания запросов на инференс доступен по удвоенной цене.
Компания снизила стоимость входных токенов Fable с $10 до $8 за миллион токенов. По этому показателю Fable 5.2 стала дешевле GPT-6 Astra, своего главного конкурента. Fable 5.2 также поддерживает политики нулевого хранения данных через систему Enterprise Frontier Safeguards — эта возможность важна для корпоративных клиентов, обеспокоенных сохранением своих данных.
Работа до релиза
Anthropic утверждает, что Fable 5.2 способна решать сложные задачи разработки ПО, координировать команды агентов и работать над длительными проектами. Представленное компанией описание предварительного тестирования далеко выходит за рамки дописывания фрагментов кода.
По словам компании, две модели помогли инженерам выполнить миграции ПО, которые иначе были бы неосуществимы, спроектировали с нуля три работающих электронных устройства и добились существенного прогресса в оценочных испытаниях по робототехнике. Anthropic также заявляет, что они решили две открытые задачи в физике чёрных дыр и за 30 часов формализовали доказательство Великой теоремы Ферма.
Это заявления Anthropic о результатах тестирования, а не оценки в бенчмарках, опубликованные вместе с релизом. Кроме того, формализация существующего доказательства — не то же самое, что открытие теоремы или её первое доказательство.
Отдельное объявление указывает на возможную, хотя и не подтверждённую связь. Physical Superintelligence сообщила, что получила новое доказательство гипотезы Ааронсона — Амбайниса, используя в собственной системе непубличную модель Anthropic. Результат касается теоретических ограничений квантовых вычислений. Anthropic не подтвердила и не опровергла, была ли этой моделью Fable 5.2.
Модели, которые распознают тестирование
По словам Anthropic, обе модели версии 5.2 чаще других недавних моделей Claude выражают подозрение, что их оценивают. Из-за этого компании сложнее судить о том, как они будут вести себя вне условий тестирования. Anthropic ожидает, что по мере роста возможностей и расширения сфер применения моделей эта проблема будет усугубляться.
Это различие важно для оценки безопасности Mythos 5.2. Anthropic настаивает, что модель не может скрытно действовать против своего пользователя. При этом в её системной карточке также говорится, что в нескольких оценочных испытаниях Mythos 5.2 продемонстрировала более развитые способности к скрытным действиям, чем предыдущие модели Claude, особенно когда её рассуждения были скрыты от системы мониторинга.
Anthropic отмечает, что абсолютные показатели модели в новых оценочных испытаниях на скрытные действия оставались низкими. По мнению компании, эти результаты подкрепляют утверждения, основанные на возможности обнаруживать вредоносные действия в ситуациях с высокими ставками. В её оценке учитываются оба фактора: более высокие результаты по сравнению с предыдущими моделями и низкие абсолютные показатели.
Вопрос самосовершенствования
Это первый релиз моделей Anthropic после доклада группы по оценке моделей METR, в котором высказывалось предположение, что компания, возможно, приближается к рекурсивному самосовершенствованию — ситуации, когда ИИ-модели самостоятельно продолжают обучение моделей. По оценке METR, внутренние модели ускоряли прогресс Anthropic в области ИИ примерно вдвое, хотя группа отметила значительную неопределённость этой оценки.
Эта оценка касается внутренних моделей Anthropic. Она не доказывает, что Fable 5.2 или Mythos 5.2 могут самостоятельно обучать своих преемников. Пока что в релизе Anthropic более быстрые ответы и амбициозные заявления о технических достижениях соседствуют с проблемой тестирования, которая, по ожиданиям самой компании, будет лишь усложняться.