OpenAI предоставила математикам сотни новых результатов для изучения, но не упростила выяснение того, какие из них выдерживают проверку. Публикация компании охватывает 719 рукописей, включает утверждения, касающиеся известных открытых проблем, а результаты в ней проверены в очень разной степени. Исследователи говорят, что разобраться в этой подборке может занять годы, тогда как её влияние на академические карьеры уже ощущается.
Слишком масштабная публикация для быстрой оценки
Рукописи охватывают такие области, как теория чисел, геометрия, комбинаторика, алгебра, топология, теория вероятностей, математическая физика и теоретическая информатика. OpenAI сообщила, что её модель пыталась решить более 4 000 задач. На получение типичного результата уходило около трёх часов вычислений ChatGPT Pro в режиме рассуждений.
Из-за такого масштаба даже предварительное ознакомление оказалось непростым. По словам исследователей, чтение оглавления и аннотаций подборки, занимавших около 40 страниц, потребовало немало времени — ещё до того, как они могли приступить к проверке отдельных рассуждений или рассмотреть их в контексте. OpenAI также опубликовала рекомендации по поиску материалов в большом репозитории GitHub — практическое признание того, что публикация исследований сама может превратиться в проблему систематизации материалов.
Некоторые математики говорили, что их первые впечатления оказались лучше, чем они ожидали, особенно на фоне критики прежних математических статей OpenAI. Это обнадёживает, хотя планка для сравнения была не особенно высокой. Тем не менее исследователи описывали статьи, которые трудно понять, а также необычно краткие работы и работы с малым числом ссылок на литературу.
Формальные доказательства полезны, но не дают гарантий автоматически
Некоторые рукописи содержат формализации на Lean. Lean — это система интерактивного доказательства теорем, которая может проверить, следует ли формальное рассуждение из заявленных предпосылок. Такой код может дать математикам уверенность в результате, даже если они сами не проследили каждый шаг рассуждения.
Однако степень формализации в подборке сильно различается. OpenAI сообщила, что среди 719 рукописей формализованы 300 основных результатов, то есть около 42 процентов, и заявила, что добавит новые формализации. Компания также признала, что рукописи находятся на разных стадиях проверки.
Формализация — не волшебная гарантия достоверности. Исследователям по-прежнему нужно убедиться, что код доказывает именно то утверждение, которое сформулировано в статье. Некоторые математики, изучившие публикацию, говорили, что связь между формальными доказательствами и утверждениями в сопровождающих их рукописях не всегда была ясной, а качество различалось.
Журнал изменений в самом репозитории показывал, что к 8 октября исправления были внесены более чем в дюжину рукописей. В нём также были указаны три статьи, отозванные после обнаружения ошибки в знаке, из-за которой рассуждение оказалось несостоятельным. Такая история изменений прозрачнее, чем незаметное редактирование статьи, но она также показывает, почему читатели не могут считать большую подборку результатов завершённым каталогом подтверждённых математических фактов.
Важные утверждения, ещё ожидающие проверки
Исследователи выделили несколько результатов, которые считают потенциально значимыми, включая продвижение в вопросах, связанных с гипотезой Римана, частный случай гипотезы Ходжа и решение четырёхмерной гипотезы Какеи. Гипотезы Римана и Ходжа входят в число семи задач тысячелетия. Это не какие-то малоизвестные упражнения, но их присутствие в публикации само по себе не снимает вопросов об их статусе. Эксперты подчёркивали, что работа нуждается в тщательной проверке и пояснениях.
Некоторые математики увидели десятки результатов, которые могут оказаться исключительно важными, если выдержат проверку. Другие говорили, что рассмотренные ими статьи трудно оценить или что работы в их собственных областях, по-видимому, возвращаются к уже изученным темам. Эти оценки остаются предварительными, учитывая число рукописей и ограниченное время, доступное для их проверки.
Исследователи также отмечали, что многие результаты, по-видимому, получены благодаря изобретательному применению известных методов. Это тоже может быть значимым вкладом в математику. Такая работа может заполнять пробелы в уже известной области, не создавая совершенно нового математического аппарата, и оставляет людям возможность находить связи, прояснять рассуждения и ставить новые вопросы на основе результатов.
Влияние распределено неравномерно
Публикация затронула одни исследовательские области сильнее, чем другие. Математики говорили об особенно серьёзных потрясениях в теории вероятностей, комбинаторике и теоретической информатике, а также в некоторых разделах теории групп. Исследователям, чьи проекты пересекаются с опубликованными результатами, возможно, придётся пересмотреть работу, которая прежде составляла основу диссертации, заявки на грант или исследовательского плана.
Эта неопределённость особенно тяжело сказывается на аспирантах, начинающих исследователях и других учёных, не имеющих постоянных должностей. Давно остающаяся открытой проблема может стать стержнем многолетней работы и помочь обосновать заявку на финансирование или претендовать на должность. Когда лаборатория публикует результат, который, по-видимому, решает такую проблему, исследователи должны решить, продолжать ли работать над ней, сменить направление или подождать проверки рассуждения. Ни для одного из этих вариантов нет заранее определённых сроков.
Некоторые исследователи говорили, что результаты этой публикации опередили целые проекты или исследовательские программы. Другие почти не обнаружили пересечений со своей работой, по крайней мере при предварительном ознакомлении. Эта неравномерность важна: масштабная публикация результатов ИИ может кардинально изменить ситуацию в одной области и остаться далёким событием для другой.
Ответ OpenAI и то, что компания не раскрыла
OpenAI обсуждала порядок публикации с Консультативной группой по математике и искусственному интеллекту — недавно созданным объединением математиков. Группа призывала публиковать статьи, понятные людям, либо оказывать поддержку, предоставляющую исследователям время и ресурсы для понимания работ, созданных ИИ. Она также призывала лаборатории по возможности формализовать доказательства, раскрывать использованные модели и промпты и не превращать математические исследования в инструмент продвижения проприетарных систем.
OpenAI заявила, что будет финансировать семинары и конференции, чтобы помочь математическому сообществу изучить работы, хотя подробностей об их сроках или формате не представила. Компания также описала новые протоколы внесения изменений в статьи и цитирования и заявила, что будет сохранять историю публикации в открытом доступе. Журнал исправлений позволяет исследователям видеть изменения по мере их внесения, вместо того чтобы просто полагаться на неизменность первоначально опубликованной версии статьи.
Другие запросы остаются без ответа. OpenAI не назвала модель, с помощью которой получены результаты, не раскрыла промпты и не опубликовала полный набор задач, которые пыталась решить. Компания заявила, что планирует добавить больше формализаций и улучшить изложение и ссылки на литературу в будущих публикациях. Она также сообщила, что намерена продолжать оценивать внутренние передовые модели на математических задачах и задачах из других наук и работает над тем, чтобы ответственно выпустить модель, получившую эти результаты.
Таким образом, исследователям остаётся значительная часть работы по оценке, но при этом им недоступна некоторая информация, которая могла бы помочь. Знание промптов, например, дало бы математикам больше контекста о том, как модель подходила к задаче. Знание полного набора задач, которые модель пыталась решить, могло бы помочь прояснить, как отбирались опубликованные результаты.
Работа после получения ответа
Спор идёт не просто о том, должен ли ИИ заниматься математикой. Многие исследователи, обсуждающие публикацию, сами используют инструменты ИИ, а некоторые приветствовали возможность появления новых результатов. Их беспокоит то, как эти результаты становятся доступными: большой подборкой, с разной степенью проверки и детализации пояснений, после чего ожидается, что математическое сообщество во всём разберётся.
Математические исследования не сводятся к доказательству утверждения. Исследователи разрабатывают методы, связывают идеи, задают контекст и определяют вопросы, которыми могут заняться другие. Когда результат появляется без этой сопутствующей работы, нагрузка перекладывается на людей, которые, возможно, уже работают над теми же задачами, зачастую почти без предупреждения.
Сообществу понадобится время, чтобы проверить доказательства и понять значение результатов. Публикация OpenAI может также дать математикам новый материал для дальнейшей работы, включая идеи и связи, которые прежде не были очевидны. Но результат — не то же самое, что объяснение, а репозиторий — не то же самое, что исследовательская программа. Доказательствам по-прежнему нужны читатели.