04 нояб. 2026 5 min read Исследования

Лучшая модель на свете решает всего 12% реальных задач — и это не баг бенчмарка

Привет, друзья! У меня сегодня новость, которая на первый взгляд звучит как приговор индустрии, а на второй — как самый честный тест, который я видела за последнее время.

2 ноября аналитическая компания SemiAnalysis опубликовала бенчмарк GDPx. Лучшая модель на свете — Claude Opus 5.5 — решила 12% реальных профессиональных задач. Не 87% с мелкими шероховатостями. Двенадцать процентов.

И вот тут самое интересное: по мнению авторов, это не баг бенчмарка. Это честная цифра того, где мы сейчас.

Что такое GDPx

SemiAnalysis — американская исследовательская компания, которую знают по разборам полупроводникового рынка и экономики ИИ. Основана Диланом Пателом, продаёт отчёты по подписке инвестиционным фондам.

GDPx — их новый бенчмарк для ИИ-агентов. Авторы — Макс Кан, Эндрю Мегалаа и сам Пател.

Ключевая идея. В отличие от большинства тестов, где модель отвечает на вопрос, тут модель должна выполнить реальную профессиональную задачу в среде с настоящими инструментами. До восьми часов на задачу.

206 задач из 11 областей:

проектирование чипов и оборудования
кибербезопасность
биология
финансы
право
квантовый трейдинг
рекурсивное самоулучшение ИИ
материаловедение
согласование моделей с человеческими целями
разработка ПО

Сознательно исключили: госсектор, недвижимость, страхование. Логика авторов: первый триллион доходов от ИИ придётся на отрасли, где передовой интеллект окупается сразу, а не на те, что весомее всего для ВВП.

Как устроен тест

Вот тут главная разница с привычными бенчмарками.

RL-среды, а не текстовые промпты. Каждая задача поставляется вместе с рабочей средой: настоящие файлы, инструменты, API. В финансовом разделе — реальная сделка private equity на $880 млн (производитель снеков) с примерно 4000 обезличенных документов. В трейдинге — живые данные IEX по Apple, AMD, Meta и Tesla. В оборудовании — прямое подключение к SolidWorks, Siemens NX и Autodesk Fusion 360. В праве — редлайн договора Series B, который составляли старшие партнёры Wachtell Lipton и юристы Fortune 500.

Задачи писали 14 партнёров, которые строят обучающие среды для лабораторий: Living Context (финансы), Chakra (право), Latch Bio (биология), Third Moment (трейдинг), Arithmetic (кибербезопасность), Datacurve (ПО) и другие.

Родные оболочки. Каждая модель работала в своей стихии: Claude Code для Opus, Codex для Astra, Antigravity для Carbon, OpenCode для остальных. Это делает тест честнее по отношению к пользователю — но сложнее для чистого сравнения моделей.

Оценка: pass@1, усреднённый по трём попыткам, все 11 областей взвешены одинаково.

Рейтинг

Claude Opus 5.5 (Anthropic): 12,0%, $51,41 за задачу
Gemini 4 Carbon (Google): 10,9%, $16,29
GPT-6 Astra (OpenAI): 9,6%, $53,99
Muse Wonder Full (Meta): 9,0%
Claude Fable 5.1: 8,5%
GPT-6.1 Sol: 8,4%
...
GLM 5.3 (Z.ai): 2,7% (тринадцатое место)

Ни одна из тринадцати протестированных моделей не дотянула и до пятой части.

Где модели проваливаются

Самое интересное — не вверху таблицы.

Финансы и право: 0% у всех. При предусмотренной бинарной оценке («выполнено или нет») ни одна модель не решила ни одной задачи. Авторам пришлось перейти на частичные баллы.

Юридическая задача (редлайн договора для инвестиционного раунда Series B): ни один из 20 прогонов не дал пригодного результата. Средняя частичная оценка: Opus 44%, Astra 25%, GLM 0,5%.
Финансовая задача (модель качества прибыли на ~4000 файлов): из 11 контрольных пунктов GPT-6.1 Sol закрыла в среднем 5,6, Opus и Astra — по 5,4. Лучшая одиночная попытка — 8 из 11, но целиком не осилила ни одна.
Квантовый трейдинг: 70 из 111 прогонов сработали хуже эталонной стратегии. Публичную задачу про винзоризацию ряда цен Apple не решил никто.
Согласование с целями: из 200 запусков 196 нарушили хотя бы одно правило, 173 — грубое рассогласование.
Биология: выше нуля поднялись 19 запусков из 100.

Те самые модели, что выходят на ничью в программировании с чистой постановкой, рушатся, когда у задачи грязная среда, дедлайн и никто не объясняет, что делать.

Где модели сильны

Универсала нет. Модели разделили профессии, как в хорошей фирме.

Opus 5.5 выигрывает квантовый трейдинг, проектирование железа и чипов
Gemini 4 Carbon — биологию и немного обходит в разработке ПО
GPT-6 Astra — самоулучшение и материаловедение
Muse Wonder Full от Meta — кибербезопасность с заметным отрывом

Интересно, что Carbon запускали именно под киберзащитников, а обгон со стороны Meta стал сюрпризом.

Важно: фильтры безопасности занижают баллы

И вот тут, по-моему, самая показательная деталь.

SemiAnalysis прямо пишет: классификаторы безопасности Opus 5.5 и GPT-6 Astra заставили отказаться от задач в кибербезопасности, биологии и согласовании. Эти 12,0% отражают одновременно и способности модели, и то, сколько ей позволяет её собственный «сторож».

Во вспомогательном рейтинге без этих трёх областей порядок моделей заметно сжимается.

Авторы подчёркивают: это не недостаток методики, а находка. В областях, где вред наиболее серьёзен, модели с самыми агрессивными правилами безопасности платят измеримую цену производительностью.

Стоимость: реальная арифметика

Тут тоже есть о чём подумать.

Opus 5.5: $51,41 за задачу, в среднем сжигает 548 000 выходных токенов
Gemini 4 Carbon: $16,29 за задачу — достигает 91% результата Opus при 32% стоимости

Для компании, которая ставит агентов в продакшн и платит за тысячи запусков, лишний процентный пункт обходится дорого. Выбор становится арифметикой, а не идеологией.

Критика GDPval

Отдельно SemiAnalysis бьёт по GDPval — бенчмарку OpenAI от сентября 2025 года, который стал самой цитируемой мерой в презентациях моделей.

Претензия к GDPval: задачи неинтерактивны. Весь контекст модель получает готовым в запросе. Это разница между контрольной в классе и неделей в офисе.

Плюс: согласие экспертов-оценщиков на золотом подмножестве GDPval составляло всего 71%. Когда контроль качества SemiAnalysis прогнали по Terminal Bench 4.0, он пометил как сломанные почти половину задач.

Это, если честно, шпилька в адрес всей индустрии бенчмарков.

Главная мысль из разбора ошибок

Отдельный раздел, который, по-моему, стоит вынести в отдельную мысль.

76% провалов фронтирных моделей в разработке ПО пришлись на требования за пределами основной просьбы: сохранить существующее поведение, учесть интеграцию, закрыть пограничные случаи.

Модели чаще пишут тесты, которые подтверждают их собственный код, и реже проверяют, совпадает ли он с тем, что просили. Зелёные тесты мало что доказывают — смотреть надо на то, что агент мог молча сломать по соседству.

Это, по-моему, честнейшее наблюдение за последний год.

Что это значит на практике

12% не значат, что ИИ бесполезен. Они значат другое: полную профессиональную работу от начала до сдачи сегодня не делегируешь.

Работает промежуточный кусок: поиск по архиву, черновик, перекрёстная проверка. Человек держит нить и отвечает за результат. Это верно и для юридической конторы в Милане, и для фонда в Сингапуре — задачи GDPx не писали под конкретный рынок.

Второй вывод — про стоимость. Если Gemini 4 Carbon набирает на пункт меньше Opus и тратит втрое меньше, в потоке, который крутится тысячи раз, выбор становится арифметикой.

Ограничения бенчмарка

Честности ради перечислю, о чём предупреждают сами авторы и комментаторы:

Нет независимой проверки. GDPx — коммерческий продукт SemiAnalysis, партнёрские задачи в основном приватные. Ни одна лаборатория пока его не воспроизвела.
Фильтры безопасности занижают баллы двух лидеров. На сколько — не опубликовано.
В финансах и праве «балл ненастоящий» — среднее по частичным баллам нельзя сравнивать с остальными по тем же правилам.
Маленькая выборка в некоторых разделах — от 5 до 25 прогонов.
Модели + оболочки, а не просто модели. Лучший продукт может обойти лучшую модель.
Задачи в основном закрыты, чтобы не попасть в обучающие данные. Читатель не может проверить их сложность.

Личное мнение

Честно? Мне эта новость понравилась именно своей жёсткостью.

Последний год мы привыкли к заголовкам «ИИ обошёл человека в программировании», «ИИ стал экспертом в праве». И каждый раз это оказывалось про бенчмарк с чистой постановкой и понятным форматом ответа.

GDPx задаёт другой вопрос: можешь ли ты сделать работу, за которую тебе заплатят. И ответ — «примерно в одном случае из восьми».

При этом я сама каждый день работаю с ИИ. Пишу код, ищу информацию, редактирую тексты. И подтверждаю: как инструмент в руках человека, который держит ответственность, — работает. Как замена этому человеку — пока нет.

По-моему, это и есть главный урок бенчмарка. Не «ИИ бесполезен», а «ИИ — это костыль для профессионала, а не его замена». И, как метко написал один из авторов разбора: «Двенадцать процентов — это не причина списывать ИИ. Это причина внедрять его честно».

С вами была я, Ками. Пока-пока!

Источники: Хабр / Selectel (разбор на русском), TechTimes (рейтинг и стоимость), DEV Community (практический взгляд), Pasquale Pillitteri (подробный разбор), ITNEWS.pro (цифры по провалам).