Самый неловкий момент в этом бенчмарке по физике наступил, когда проверяющие сочли ответ модели неверным, а затем оказалось, что модель была права. В тесте на задачах по теоретической физике исследовательского уровня GPT-6-Astra решила 49 из 50 задач. Несколько ответов, которые проверявшие модель люди сначала сочли ошибочными, оказались верными, а ошибки были в эталонных решениях.
Что именно проверяли
Исследователи хотели выяснить, способны ли ИИ-агенты справляться с задачами уровня настоящей исследовательской работы, а не с упражнениями из учебников. Они собрали 50 неопубликованных задач из разных областей теоретической физики. То, что задачи не были опубликованы, здесь важно: модели сложнее добиться успеха, просто вспомнив уже виденное готовое решение.
Самое интересное — оценка сложности, которую дали сами авторы. Эксперту мирового уровня обычно потребовался бы почти целый день, чтобы решить одну такую задачу. Специалисту из смежной области — значительно больше времени.
Задачи были призваны проверить применение известных методов. Они не предназначались для проверки того, способна ли модель совершить принципиально новое открытие. Именно на этом различии держится смысл всего результата, и мы ещё к нему вернёмся.
Результаты
Имея доступ к интернету, научной литературе и вычислительным инструментам, Astra достигла точности 98%. Средние затраты составили менее $3 на задачу. Для задачи, на которую у эксперта уходит целый день, такая цена заслуживает внимания.
Остальные модели, результаты которых приведены в исследовании, отстали:
| Модель | Решено задач (из 50) |
|---|---|
| GPT-6-Astra | 49 |
| Opus 5.5 | 46 |
| Gemini 3.8 Flash | 34 |
| DeepSeek-V4.1-Flash | 27 |
| GLM 5.3 | 21 |
В отчёте не уточняется, получены ли результаты конкурентов в той же конфигурации с доступом к инструментам, в которой Astra показала 98%, поэтому при сравнении стоит учитывать эту оговорку. В любом случае разброс велик: от почти безупречного результата до менее половины решённых задач.
Когда ошибается проверяющий
Тут история становится ещё занятнее. Авторы поначалу сочли несколько ответов Astra неверными. Обычно бенчмарки исходят из того, что эталонные ответы — неизменная точка отсчёта, а модель — переменная.
Поэтому они обратились к экспертам. Те обнаружили ошибки в решениях самих авторов. После исправления этих ошибок расчёты Astra подтвердились. Модель была права, а люди ошибались — уверенно и официально.
Это полезное напоминание: чем сильнее модель, тем сложнее её оценивать. Если на решение задачи у эксперта уходит день, то и тот, кто проверяет эталонное решение, работает на пределе того, что можно успеть за день.
Единственная задача, которую никто не решил
Astra не справилась только с одной задачей — как и все остальные модели. В ней требовалось восстановить дифференциальное уравнение по заданной кривой. Авторы указывают на неоднозначность условия, которая осложняла поиск решения. Иными словами, вовсе не очевидно, что дело было в неспособности рассуждать о физике. Возможно, отчасти проблема заключалась в самом вопросе.
Нужен ли модели интернет?
Когда исследователи отключили доступ к интернету, точность почти не изменилась. Авторы видят в этом возможный признак того, что модели усвоили значительную часть научной литературы и способны воспроизводить нужные формулы без обращения к источникам.
При этом они осторожно обозначают пределы такой интерпретации. Одного этого исследования недостаточно, чтобы исключить влияние обучающих данных. Задачи не опубликованы, но это не проясняет, насколько близки лежащие в их основе методы к материалам, на которых обучались модели. Честный вывод таков: результат согласуется с предположением, что модели прочно усвоили обширные знания, но не доказывает его.
Чего этот результат не показывает
Авторы прямо обозначают границы этого вывода. Умение хорошо решать задачи не означает, что ИИ способен самостоятельно вести исследовательскую программу по физике. Моделям всё ещё хуже даются те составляющие исследования, которые предшествуют расчётам и сопутствуют им:
- Выбор стоящей задачи. Выбор важного вопроса и ответ на него требуют разных навыков.
- Правильная постановка вопроса. Хорошо поставленный вопрос — половина результата, а в бенчмарке он уже дан в готовом виде.
- Умение понять, когда пора сменить направление. По словам авторов, моделям труднее распознать, что подход ведёт в тупик, чем решить задачу с проверяемым ответом.
Бенчмарк вознаграждает именно то, что легко проверить. Задача с однозначным ответом — самая благоприятная для машины территория, а исследования в основном ведутся за её пределами.
Какие выводы стоит сделать
Обоснованный вывод здесь довольно узок, но весом. На неопубликованных задачах по теоретической физике, каждая из которых требует примерно дня работы и применения известных методов, сильнейшая модель в тесте дала правильный ответ 49 раз из 50 при затратах в несколько долларов на задачу. Она была права и там, где опытные исследователи считали её ответ неверным.
Необоснованный вывод — будто без физиков теперь можно обойтись. Сами авторы этого не утверждают, да и тест не мог бы подтвердить такой вывод. Инструмент, который проверяет ваши расчёты и иногда выигрывает спор, полезен. Но по-прежнему не он решает, какой спор вообще стоит затевать.
И напоследок — небольшая ирония. Бенчмарку, созданному, чтобы выяснить, можно ли доверить машинам работу экспертного уровня, в итоге понадобились сторонние эксперты для проверки эталонных ответов самих экспертов.