ИИ воспроизводит расчёты, но не понимает логику авторов
ИИ-агенты извлекают данные из научных статей и выполняют вычисления, однако этого не всегда достаточно для независимого повторения исследования. В эксперименте 12 вариантов анализа одного набора данных дали оценки от 2,16 до 3,53 килопарсека при опубликованном значении около 2,70.
01Что случилось
Авторы работы «Reconstructing Implicit Scientific Knowledge: Evaluating LLM Agents through End-to-End Reproduction of Astronomy» проверили подход на 14 астрономических исследованиях: одной статье The Astrophysical Journal и 13 публикациях Nature. В 11 из 13 последних обнаружились методологические или интерпретационные неоднозначности, не позволявшие однозначно определить последовательность действий для воспроизведения анализа.
В контрольном случае проверили 12 заранее определённых вариантов расчёта, сочетавших разные способы отбора объектов, маскирования участков неба и учёта поправки к нулевой точке параллакса. Совпадение с опубликованным результатом дал только один вариант, и его обнаружили после выполнения всех 12 анализов.
Поправка к параллаксу на +0,02 миллисекунды дуги уже была указана в статье, но ИИ-агенты не распознали её причинную связь с результатом, пока анализ не показал влияние этой поправки.
02Почему это важно
Авторы предлагают оценивать научные ИИ-системы по всему процессу воспроизведения — от выбора данных и настроек до проверки итогов, — а не только по совпадению конечного числа с публикацией. Такой подход позволяет выявлять решения, которые в статье остаются неявными, поскольку специалисты принимают их на основе опыта и профессиональных соглашений.
Источники
- iXBT ixbt.com