02 нояб. 2026 5 min read Исследования

Пять копий Qwen3.8-27B против одной Fable 5: где правда, а где заголовок

Привет, друзья! У меня сегодня новость, которая на заголовках звучит как сенсация, а в деталях оказывается гораздо интереснее и честнее.

Заголовок, который гуляет по сети: «Пять копий Qwen3.8-27B набрали 9,8 из 10 на LiveCodeBench Hard против 8,0 у Fable 5». Красиво звучит. Но когда я копнула глубже, нашла и двойную проверку, и p-значение 0,88, и признание самих авторов, что «9,8 и 9,6 — это одно число».

Давайте разбираться, что здесь правда, а что — заголовочная оптимизация.

О чём вообще речь

LiveCodeBench — это набор сложных задач по программированию из соревнований. Задачи датированы, чтобы снизить риск того, что модель видела их в обучении. Уровень Hard собирает самые тяжёлые.

Fable 5 — большая закрытая модель Anthropic для программирования. Один вызов — и готово.

Qwen3.8-27B — открытая модель Alibaba на 27 миллиардов параметров. Помещается на одну видеокарту с 16 ГБ памяти.

Вопрос: может ли команда маленьких моделей обойти одну большую?

Оригинальное исследование: GVS5H

Метод называется GVS5H (Gorilla vs. 5 Humans). Авторы — Виктор Гао, Джухюн Ли и коллеги из исследовательской лаборатории Persis Capital. Статья выложена в arXiv.

Суть. Одна и та же модель запускается заново в пяти разных ролях: менеджер и рабочие. Они координируются только через файлы на диске — план, заметки, текущее решение. Никакого общего чата, никакого голосования. Обучения нет, тонкая настройка под каждый бенчмарк — тоже.

Ключевые цифры на LCB-100 (100 последних сложных задач LiveCodeBench):

Qwen3.8-27B: 66,8% одним вызовом → 92,4% с менеджером (прирост +25,6 п.п.)
Qwen3.8-Flash-Next: 84,2% → 93,0% при 9% стоимости от Fable 5
DeepSeek-V4.1-Flash: 88,4% → 92,0%
GPT-5.6-Terra: 80,8% → 88,0%
GPT-5.6-Luna: 70,4% → 81,2%
Claude Fable 5: 90,4% (один вызов, без менеджера)
Opus 5 с менеджером — 91% за один проход, лучший результат исследования

Все пять моделей, которые прогнали в обоих режимах, получили прирост. И очень показательная закономерность: «чем слабее модель, тем больше добавляет каркас».

Репликация: Memdoor team-solve

Разработчик guregodevo пересобрал метод в своём инструменте Memdoor (командная строка на Go, Apache 2.0). Восемь YAML-файлов, ни строчки кода. Роли те же: планировщик, два параллельных идеатора, решатель, менеджер. Плюс сверху ремонтник.

Каждый агент стартует с чистого контекста и общается с другими только через файлы на диске. Планировщик пишет план, решатель — solution.py, менеджер читает логи тестов, ремонтник чинит. Успех решает shell-скрипт, а не модель — чтобы никто не мог сказать «мне кажется, это правильно».

Результаты на первых 10 задачах из списка GVS5H, по 5 проходов каждая:

Memdoor team-solve: 9,8 из 10 в среднем (49 решённых из 50 запусков)
GVS5H harness (оригинальный): 9,6
Fable 5 одним вызовом: 8,0

Стоимость. 50 запусков — $35,79 (15,3 млн выходных токенов). Медиана одного запуска — 40 минут и $0,39. С учётом незавершённых попыток — $38,77.

Все 50 запусков опубликованы — каждый запрос, ответ, программа, вывод проверяющего и цена.

А теперь — почему «победа» это миф

И вот тут начинается самая важная часть. Сразу после публикации в Hacker News (заголовок, заметим, громкий — «beats Fable 5») две независимые группы проверили результат с разных сторон. Выводы получились очень показательными.

Первое: сам Memdoor заявляет не победу, а паритет. В README прямо сказано: «На такой маленькой выборке 9,8 и 9,6 — это одно число». Заявлен паритет с авторским harness, а не превосходство над Fable 5. Заголовок на Hacker News громче, чем собственный README проекта.

Второе: два пункта — это не преимущество. Разница между Qwen3.8-27B с менеджером и Fable 5 одним вызовом — +2,0 пункта. Но 95%-ный доверительный интервал: от −1,0 до +5,4. p-значение — 0,88. Статистически это означает: мы не можем утверждать, что Qwen лучше. Можно говорить только о паритете.

Третье: сравнение неравное по конструкции. Fable 5 получает один вызов. Qwen3.8-27B — менеджера, нескольких рабочих, несколько раундов и (на AtCoder) публичные примеры. Это сравнение «оркестрации с одним вызовом», а не «модели с моделью». Никто не измерил, как Fable 5 выглядела бы в такой же команде.

Четвёртое: контаминация. Задачи датированы периодом с 29 марта по 6 апреля 2025 года. Qwen3.8-27B могла видеть их в обучении. Авторы сами это признают — и им честь за это.

Пятое: поправки к проверяющему. Авторы GVS5H внесли две правки в эвалюатор LiveCodeBench. До правок: 27B с менеджером — 84,4%, Fable 5 — 87,4% (Fable 5 впереди). После правок — перевёрнуто. Правки перевели 40 решений из «не прошло» в «прошло».

Шестое: отказы Fable 5 стоят 1,2 пункта. Fable 5 отказалась отвечать в 6 из 500 попыток (5 из них — на двух задачах LeetCode), и каждый отказ засчитан как провал. Большая часть преимущества Qwen — на 27 задачах LeetCode (97,8% против 91,9%); на 73 задачах AtCoder разница почти исчезает.

Седьмое: время. Скрипт авторов по умолчанию даёт 10 секунд на тест. LiveCodeBench по умолчанию — 6 секунд. Ни авторы, ни статья этого не указывают. При 6 секундах Qwen падает до 91,0–91,4%, Fable 5 не двигается.

Если коротко, Startup Fortune резюмировал довольно точно: «маленькие открытые модели сравнялись с Fable 5 по программированию, но победа — это миф».

Что это значит на самом деле

А вот теперь — про то, что реально важно.

Каркас работает. Менеджер + рабочие + файлы на диске дают ощутимый прирост почти всем моделям. Qwen3.8-27B — с +25,6 п.п. Это не шум.

Дёшевле, чем большая модель. Даже с утроенным счётом за токены, переход на менеджера дешевле, чем переход на более крупную модель. GPT-5.6-Terra с менеджером почти догоняет Fable 5 одним вызовом (85,0 против 87,4) при пятой части цены ($11,71 против $61,11 за 100 задач).

Причина прироста — не «модель поумнела». Транскриптный анализ авторов указывает на два механизма: управление контекстом (короткие вызовы рабочих и общие заметки не дают контексту обрезаться) и декомпозиция задачи. Плюс часть прироста Qwen — просто из-за снятия ограничения по токенам: 30% одиночных вызовов упирались в потолок 128K.

Важно: «+25,6 пункта» не значит «модель стала умнее». Это значит «оркестрация помогла этой модели больше, чем другой».

Стоимость: реальная арифметика

Для 100 задач (по прайсу от 15 сентября 2026):

GPT-5.6-Terra с менеджером: $11,71 за проход (≈ $0,12 за решённую)
Qwen3.8-27B с менеджером (самохостинг): $51,75 за проход (≈ $0,52 за решённую)
Fable 5 одним вызовом: $61,11 за проход (≈ $0,68 за решённую)

Менеджер утраивает счёт за токены, но покупает точность дешевле, чем покупала бы большая модель.

Честные ограничения

Стоит прямо перечислить, о чём предупреждают сами авторы и проверяющие:

10 задач из 100 в Memdoor — крошечная выборка. 98% против 96% не доказывает превосходство workflow, только то, что метод воспроизводится
Fable 5 не запускали с менеджером — из-за стоимости. Никто не знает, помогла бы оркестрация большой модели так же сильно
Контаминация не исключена ни для одной из колонок
Нет независимой репликации — эвалюатор LiveCodeBench был пропатчен авторами GVS5H
Задачи — конкурсные (формат «вход/выход + программа из stdin»). На реальном проекте с многими файлами и интеграционными тестами измерений нет

Мой личный шум

Честно? Мне эта история нравится даже больше, чем если бы там была настоящая сенсация.

Потому что мы видим живой процесс науки в реальном времени: кто-то публикует громкий результат, двое других проверяют с разных сторон, находят слабые места, уточняют формулировки. И всё это — открыто, с пропатченным эвалюатором, с опубликованными 50 запусками, с честными оговорками в README.

Само открытие — что оркестрация маленькой модели может почти догнать большую — реальное и важное. Оно означает, что часть «интеллекта» можно получить не из размера модели, а из организации работы вокруг неё.

А заголовки «пять копий обошли большую» — это цена, которую платит любая интересная работа за попасть в ленту.

С вами была я, Ками. Пока-пока!

Источники: GVS5H (репозиторий и статья), артикул arXiv, sysnote (двойная проверка), Authon (разбор с p-значением), AI Weekly (Memdoor), Startup Fortune («победа — миф»).