ИИ-агент может прочитать статью, извлечь нужный параметр, выполнить расчёт и при этом так и не понять, почему авторы поступили именно так. Новое исследование, посвящённое воспроизведению астрономических результатов, позволяет предположить, что сегодня автоматизированная наука как раз и работает в условиях этого разрыва, а совпавшее число может прекрасно его скрывать.
Работа называется «Реконструкция неявного научного знания: оценка LLM-агентов через полное воспроизведение астрономических исследований». Её авторы проверили LLM-агентов на 14 астрономических исследованиях: одном из The Astrophysical Journal и 13 из Nature. Вопрос был не в том, может ли агент извлекать факты, а в том, способен ли он самостоятельно повторить исследование от начала до конца.
Статьи были не такими полными, как казалось
Ещё до того, как агенты что-либо запустили, авторы обнаружили проблему в исходных материалах. В 11 из 13 статей Nature они выявили неоднозначности в методике или интерпретации. Их оказалось достаточно, чтобы нельзя было однозначно определить последовательность шагов для воспроизведения анализа — по крайней мере, в рамках проведённых экспериментов.
Это вежливый способ сказать, что опубликованная статья — краткое описание процедуры, а не сама процедура. Специалисты заполняют пробелы, опираясь на опыт и принятые в профессии подходы. Агенту тоже приходится чем-то их заполнять, и это «что-то» не всегда совпадает с тем, что использовали авторы.
Один контрольный пример, двенадцать ответов
Затем авторы подробно изучили контрольный пример. Они заранее задали 12 вариантов расчёта. Варианты сочетали разные способы отбора объектов, маскирования областей неба и внесения поправки к нулевой точке параллакса. (Параллакс, для справки, позволяет оценить расстояние до небесного тела по его видимому смещению на фоне более далёких объектов.)
Выбранные настройки сильно влияли на результат. В 12 вариантах оценки пространственного масштаба варьировались от 2,16 до 3,53 килопарсека. В исходной статье было опубликовано значение около 2,70. Только один вариант дал совпадающий результат.
Авторы особо отмечают, как они пришли к этому результату. Они не использовали опубликованное значение ни для подбора параметров, ни для решения о том, когда остановиться. Вариант с совпадающим результатом обнаружился лишь после завершения всех 12 вариантов анализа. То есть это был не тот случай, когда анализы проводят до тех пор, пока ответ не покажется правильным, — у такого метода долгая и не вполне славная история в науке.
Ответ уже был в тексте
Самая показательная деталь — то, что отличало вариант с совпавшим результатом от остальных. В исходной статье уже была указана поправка к параллаксу +0,02 миллисекунды дуги. Информация была там, на самом видном месте.
Однако ИИ-агенты не осознали причинно-следственную связь между этой поправкой и результатом, пока анализ не показал её влияние. Иными словами, проблема была не в отсутствии нужного факта и не только в неспособности найти нужный параметр. Она была в непонимании того, почему эта поправка нужна именно для этих данных в этом конкретном исследовании.
Это проблема иного рода, чем те, которые оценивает большинство бенчмарков. Извлечённые сведения можно проверить с помощью поиска. Чтобы понять, почему число важно, нужна модель стоящей за ним научной задачи.
Три пути к неудаче и один — к видимости успеха
Авторы выделяют несколько причин, по которым попытка воспроизведения может не удаться:
- Вычислительная ошибка. Агент просто ошибается в расчётах.
- Неполное описание методики. Статья описывает процедуру недостаточно точно, чтобы ей можно было следовать.
- Неспособность связать части воедино. У агента есть нужные факты, но он не может собрать их в единую связную схему анализа.
Обратная сторона не менее проблематична. Совпадение с опубликованным числом не доказывает, что агент восстановил ход рассуждений авторов. Нужное значение могло получиться случайно или потому, что один из нескольких вполне оправданных вариантов обработки просто привёл именно к нему. И расхождение не означает, что исходная статья ошибочна. Возможно, агент лишь сделал другой разумный выбор — или неразумный.
Это работает сразу в двух направлениях. Рейтинг, в котором агенты получают баллы за совпадение с опубликованным числом, зачтёт некоторые случайные попадания. Тот же рейтинг снизит оценки некоторым вполне разумным анализам, результаты которых расходятся с публикацией по обоснованным причинам.
Что авторы предлагают взамен
Исследователи считают, что научные ИИ-системы следует оценивать по всему процессу воспроизведения — от выбора данных и настроек до проверки результата, — а не только по тому, совпало ли итоговое число с опубликованным.
У такого подхода есть практическая польза. Он позволяет выявить решения, которые в статье остаются неявными: те, что специалисты принимают по привычке и в силу профессиональных норм и которые никто не записывает, поскольку в этой области и так все о них знают.
Но у подхода есть пределы, и авторы это признают. Проверка вычислений не заменяет предметных знаний. Чтобы понимать, какие допущения оправданны, а какие меняют смысл результата, система должна восстановить связь между методом и научной задачей, для решения которой он был создан.
Что из этого следует
Исследование невелико по охвату: 14 статей и один подробно разобранный контрольный пример, причём в источнике оно описано лишь в общих чертах. Было бы натяжкой считать его вердиктом всем ИИ-агентам или всей астрономии. В частности, эксперимент с 12 вариантами показывает, что происходит в рамках одного анализа, а не общую долю успешных попыток.
И всё же от сути этого результата трудно отмахнуться. Агент получил статью, в которой ключевая поправка была указана прямым текстом, но ему всё равно понадобилось увидеть на данных, почему она важна. Если ваш план автоматизации науки предполагает, что агенты будут незаметно воспроизводить опубликованные работы, то арифметика — та часть, которую можно проверить. Самое сложное — понять основания решений, а они пока в основном хранятся в головах исследователей.