GPT-6-Astra решила 49 из 50 задач по теоретической физике
Физики проверили, как ИИ-агенты справляются с задачами исследовательского уровня: GPT-6-Astra решила 49 из 50 заданий.
01Что случилось
Для теста подготовили 50 неопубликованных задач из разных областей теоретической физики. По оценке авторов, эксперт мирового уровня обычно решает такую задачу почти за день, а специалист из смежной области потратил бы значительно больше времени. Задания проверяли применение известных методов, а не способность совершить принципиально новое открытие.
В режиме с доступом к интернету, научной литературе и инструментам для вычислений Astra достигла точности 98%, потратив в среднем менее $3 на задачу. Opus 5.5 решил 46 задач из 50, Gemini 3.8 Flash — 34, DeepSeek-V4.1-Flash — 27, а GLM 5.3 — 21.
Авторы сначала сочли ошибочными несколько ответов Astra, но после консультаций с экспертами обнаружили недочёты в собственных решениях. После исправлений выяснилось, что расчёты ИИ-модели были верными. Единственную задачу, которую Astra не решила, не смогли решить и другие модели: требовалось восстановить дифференциальное уравнение по заданной кривой, а неоднозначность условия усложняла поиск.
02Почему это важно
Точность моделей мало менялась при отключении доступа к интернету. По мнению авторов, это может указывать на то, что ИИ усвоил значительную часть научной литературы и способен воспроизводить нужные формулы без поиска по источникам, хотя исключить влияние обучающих данных полностью, опираясь исключительно на это исследование, нельзя.
Источники
- iXBT ixbt.com