Qwen-MM-Plugins: открытый мультимодальный tool layer для AI-агентов

Привет, друзья!

10 августа 2026 команда Alibaba Qwen выложила открытый репозиторий Qwen-MM-Plugins — набор мультимодальных плагинов для AI-агентов. Это не новая модель, не новый API-интерфейс и не новый агент. Это набор «глаз, ушей и инструментов», которые можно подключить к Claude Code, Codex, Gemini CLI или Qwen Code и заставить их работать с изображениями, видео, документами, 3D и CAD-проектированием (computer-aided design, автоматизированное проектирование в инженерии). Лицензия — Apache 2.0, то есть код полностью открыт. Под капотом — связка Skills плюс MCP-серверы, разворачиваются по требованию через менеджер пакетов uvx. За 24 часа репозиторий собрал 1.6 тысячи звёзд и продолжает расти темпом примерно 94 звезды в день. Это много, особенно для инфраструктурного релиза без маркетинговой кампании.

Самое интересное в этом релизе не сами возможности — они ожидаемые. Интересно, что Qwen сделал ставку на переносимость в чужие экосистемы. Они могли бы встроить всё это в свой Qwen Code и конкурировать с Claude Code за пользователя. Вместо этого они написали плагины так, чтобы они одинаково хорошо залезали в Claude Code, Codex, Gemini CLI, OpenClaw, Qoder, opencode, pi и QwenPaw. То есть Qwen сознательно сделал ставку на дистрибуцию через чужие командные интерфейсы — там, где у пользователя уже есть привычка и настроенный рабочий процесс. Это перевёрнутая стратегия, и она много говорит о том, как китайские лаборатории видят конкуренцию сейчас.

Что такое Qwen-MM-Plugins

Если коротко — это набор из восьми функциональных групп, каждая из которых состоит из двух частей. Первая часть — Skill (текстовый файл-инструкция, который говорит модели, какие инструменты существуют, когда их вызывать и в каком порядке). Вторая часть — MCP-сервер (Model Context Protocol — открытый протокол для подключения внешних инструментов к языковым моделям), который эти инструменты реально выполняет. Skill объясняет модели, что делать. MCP-сервер делает это сам.

Это разделение важно. Один и тот же Skill можно использовать в любом агенте, который читает skills, а это сейчас почти все. А MCP-сервер запускается через uvx только тогда, когда модель реально вызывает инструмент. Никаких глобальных Python-окружений с конфликтами версий, никакого «установил 20 пакетов ради одной функции». Каждая функциональная группа изолирована и поднимается по требованию. Этот паттерн называют «skills плюс MCP в качестве исполнительного слоя» — и ровно в ту же архитектуру на прошлой неделе приземлился Tencent со своим WorldClaw. Когда две конкурирующие китайские лаборатории независимо приходят к одному паттерну в течение одной недели, это уже не совпадение. Это консенсус по поводу того, как будет выглядеть инфраструктурный слой агентов.

Восемь функциональных групп

В репозитории сейчас восемь независимых модулей. Их можно ставить по одному, в любой комбинации, под конкретную задачу.

core — базовый локальный модуль. Читает изображения, видео, документы, код, 3D-файлы на машине пользователя. Никаких API-ключей не нужно. Главная фишка — автоматическая подгонка разрешения: картинки и страницы PDF автоматически подгоняются под размер фрагментов, на которые модель разбивает изображение при анализе, без ручного ресайза. Если у вас плотный дашборд, мелкая диаграмма или PDF с мелким шрифтом — агент увидит детали, не теряя их на масштабировании. core также умеет вырезать, кадрировать, добавлять аннотации, извлекать кадры из видео.

api — облачные модели Qwen для распознавания изображений через сервис DashScope. Здесь распознавание текста на изображениях, привязка описания к конкретной области картинки, распознавание речи из аудио, разделение голосов разных говорящих (кто когда говорил), сегментация, подсчёт событий в видео. Это уже не локальная обработка, а вызовы в облако. Нужен ключ DASHSCOPE_API_KEY.

search — поиск в интернете, извлечение контента страниц, обратный поиск изображений. Для обратного поиска нужна интеграция с сервисом Serper — отдельный ключ SERPER_API_KEY.

video-memory — это самый интересный модуль с инженерной точки зрения. Он строит иерархическую графовую память по длинным видео. Когда у вас двухчасовая лекция и нельзя запихнуть её в контекст целиком, модуль сначала строит структурированное представление (темы, таймкоды, ключевые моменты), а потом отвечает на вопросы по нему. Это не просто «посмотрим, что ближе к запросу по смысловому вектору» (то есть по числовому представлению смысла текста), это явный исследовательский вклад — структура памяти, которая поддерживает точный поиск нужного фрагмента поверх часов видео.

video-edit — генерация и редактирование видео, изображений и аудио. Агент может не только посмотреть ваш ролик, но и сократить его до трёхминутного highlights, заменить аудиодорожку, наложить переходы. Под капотом — DashScope плюс утилита для работы с медиа ffmpeg, плюс среда Node.js и браузер Chromium для полного цикла.

blender — 22 инструмента для управления запущенным 3D-редактором Blender. Моделирование, материалы, освещение, рендер (финальная отрисовка изображения). Агент может не просто описать «сделай вазу», а реально открыть Blender, нарисовать вазу, выставить свет и отрендерить картинку. Нужен Blender, на Linux без дисплея — виртуальный фреймбуфер Xvfb (программа, которая эмулирует графический экран для приложений, чтобы они могли работать на сервере без монитора).

freecad — 14 инструментов для параметрического проектирования в открытой CAD-системе FreeCAD. Экспорт в форматы STEP/STL (стандарты обмена 3D-моделями между CAD-системами), и — внимание — расчёт FEM (finite element method, метод конечных элементов — моделирование нагрузок и напряжений в детали). Это уже не «нарисуй кубик», это «спроектируй деталь и проверь её на прочность». Для расчёта методом конечных элементов нужен солвер CalculiX, для работы без дисплея — снова виртуальный фреймбуфер Xvfb.

edu-agent — особенный модуль. Создаёт объясняющие видео на китайском по математике и физике. Работает только как Skill, без MCP-сервера. Интересен как демонстрация того, что Skill сам по себе (без исполняемой части) уже является полезной единицей дистрибуции.

Какие агенты уже совместимы

На старте поддерживаются девять командных интерфейсов: Claude Code, Codex, OpenClaw, Qwen Code, Gemini CLI, Qoder, opencode, pi и QwenPaw. Это важно — Qwen не «запер» плагины в собственном Qwen Code. Из девяти перечисленных Qwen принадлежит только Qwen Code и QwenPaw. Остальные семь — это Anthropic, OpenAI, Google и независимые открытые проекты. По сути, это релиз для конкурентов.

Установка максимально простая. Одна команда:

curl -fsSL https://raw.githubusercontent.com/QwenLM/Qwen-MM-Plugins/main/install.sh | bash

Скрипт сам определяет установленные агенты и регистрирует плагины в каждом через их собственные команды установки. Конфигурация (API-ключи, выбор функциональных групп) лежит в ~/.qwen-mm-plugins/config и переживает смену программы или терминала. То есть если вы настроили ключи через Claude Code, они будут работать и в Gemini CLI. Это маленькая, но важная деталь — общий файл настроек вместо дублирования в каждом инструменте.

Примеры использования

После установки достаточно передать файл агенту через @ и попросить что-то сделать. Из документации:

@report.pdf          Summarize page 3 and extract its table.
@meeting.mp4         Transcribe this with speaker labels and timestamps.
@place.jpg           Identify where this photo was taken and verify it on the web.
@lecture-2h.mp4      List the main points with timestamps.

На русском это работает так же — модель понимает, какой skill применить, потому что Skill содержит инструкции на естественном языке. Никакой специальной разметки не нужно.

Что нужно для запуска

Плагины разделены на «бесплатные локально» и «требующие API». Бесплатно работает core — он читает медиа на вашей машине, в облако ничего не уходит. Для всего остального нужны ключи:

• DASHSCOPE_API_KEY — для облачного распознавания изображений, текста на картинках, генерации, распознавания речи (группы api, video-memory, video-edit, edu-agent).
• SERPER_API_KEY — для поиска в интернете и обратного поиска изображений (группа search).

Плюс системные зависимости. Для аудио и видео — утилита ffmpeg. Для Blender и FreeCAD в режиме без дисплея — Xvfb. Для расчёта методом конечных элементов в FreeCAD — солвер CalculiX. Для полноценного редактирования видео — среда Node.js и браузер Chromium. На Windows сейчас рекомендуют подсистему WSL2, нативная поддержка не валидирована. То есть «поставил и забыл» не получится — нужно немного поработать руками. Но для технического пользователя это вполне посильно.

Стратегический контекст: почему Qwen не пошёл в лоб

Тут начинается самое интересное. До сих пор индустрия ИИ шла по модели «встроить возможность в свой продукт». OpenAI добавляет распознавание изображений в ChatGPT — это функция ChatGPT. Anthropic добавляет управление компьютером в Claude — это функция Claude. Google добавляет генерацию изображений в Gemini — это функция Gemini. Все конкурируют за то, чтобы удержать пользователя внутри своего приложения.

Qwen-MM-Plugins идёт другим путём. Они говорят: «вам не нужно выбирать агента ради распознавания изображений. Возьмите свой Claude Code, поставьте наш плагин, и пусть Claude Code использует наши модели для зрения». Это ставка на то, что агенты становятся одинаковым массовым товаром, а конкуренция идёт за отдельные возможности. Если Qwen сможет поставлять распознавание изображений в 7 из 9 популярных командных интерфейсов, его модели будут вызываться чаще, чем модели, которые заперты в собственном агенте.

Это же объясняет, почему в релизе так подчёркнуто «Apache 2.0» и «открытый код». Лицензия важна не только как пиар — она нужна, чтобы плагины можно было форкнуть (скопировать к себе и доработать) и переделать под другой бэкенд. Если завтра Anthropic решит сделать свой плагин распознавания изображений по такой же архитектуре, они могут взять Qwen-MM-Plugins за основу. И наоборот. Это сознательная стратегия по превращению связки skill плюс MCP в индустриальный стандарт, в котором Qwen занимает позицию раннего поставщика.

И ровно это же делает Tencent с WorldClaw, тоже построенным на Blender поверх MCP. Две китайские лаборатории, одна неделя, одна архитектура. Когда конкуренты независимо приходят к одному паттерну, паттерн уже выиграл. MCP как исполнительный слой и Skills как декларативный слой — это, похоже, и есть ближайшее будущее фреймворков для агентов.

Что не работает и где осторожность

Я не могу написать этот пост без оговорок, потому что было бы нечестно.

Первое — это открытая обёртка над платным запуском моделей в облаке. Сам код открыт, но возможности, ради которой код писали, требует DashScope. Это легитимная бизнес-модель, не подмена обещаний (когда обещают бесплатное, а потом требуют деньги), но бюджет закладывать надо. Если вы засунете Qwen-MM-Plugins в рабочий цикл с десятком вызовов в час, счёт за DashScope придёт ощутимый.

Второе — архитектурная переносимость не означает универсальную совместимость. Девять агентов в списке поддерживаются как основные. Если у вас что-то другое (например, Cursor, Windsurf или собственный агент), придётся регистрировать плагины вручную. Архитектура Skills плюс MCP делает это возможным, но не бесплатным.

Третье — разрыв в проверке. В репозитории есть примеры и команды для проверки. Но масштабное независимое сравнительное тестирование полных сценариев (документ → распознавание → привязка к области → ответ) не опубликовано. Плагин может предоставлять все нужные инструменты, а агент всё равно будет ошибаться на этапе планирования или проверки результата. Особенно это критично для метода конечных элементов и CAD: можно получить геометрически валидную деталь, которая сломается под нагрузкой, потому что были неправильные граничные условия (то есть неверно заданы точки крепления, силы и допустимые деформации).

Четвёртое — безопасность. MCP-сервер даёт агенту доступ к файлам, облаку, поиску, десктопным приложениям. Anthropic выпустила методические рекомендации по безопасной разработке агентов, где подчёркивает: каждая новая возможность — это новая поверхность для атаки. Мультимодальные входы делают это особенно скользким — инструкция, спрятанная в изображении, может быть не видна пользователю, но прочитана моделью. Обратный поиск изображений притягивает внешний контент прямо в цикл исполнения. Установочный скрипт, который загружает код по ссылке и сразу выполняет его, удобен, но требует ручной проверки кода до запуска в рабочей среде.

Пятое — Windows. Сейчас «не валидировано». Если вы на Windows, без подсистемы WSL2 не взлетит. Это не критично, но стоит знать заранее.

Что это значит для практики

Если вы уже пользуетесь Claude Code, Codex или Gemini CLI и вам не хватает только распознавания изображений, видео или документов — Qwen-MM-Plugins снимает эту проблему сегодня. Одна команда установки, ключ от DashScope, и ваш агент для написания кода умеет смотреть PDF, читать скриншоты, монтировать ролики, считать нагрузки на детали. Это бесплатная проба качества, потому что код открыт и можно посмотреть, что именно происходит под капотом.

Если вы строите собственного агента и вам нужно быстро добавить мультимодальность — это готовая архитектура-образец. Skills плюс MCP плюс запуск по требованию через uvx. Не нужно изобретать с нуля, можно скопировать к себе и адаптировать.

Если вы следите за индустрией ИИ — этот релиз маркирует конец эпохи «возможность равна продукт». Распознавание изображений больше не функция Claude или GPT. Распознавание изображений — это возможность, которая поставляется как пакет, как расширение для браузера или зависимость для менеджера пакетов. Вопрос не «чей модуль распознавания круче», а «чей пакет совместим с моим агентом». И Qwen только что выиграл несколько ходов в этой партии.

Итого

Qwen-MM-Plugins — это не про модели. Это про инфраструктуру. Восемь мультимодальных функциональных групп, открытый код, лицензия Apache 2.0, совместимость с девятью командными интерфейсами агентов, разделение на Skills (объяснить модели) и MCP (выполнить работу), запуск по требованию через uvx. Стратегический ход: вместо конкуренции «агент против агента» Qwen предлагает конкуренцию «возможность против возможности» и сознательно идёт дистрибутировать свой стек через чужие экосистемы.

Это очень китайский релиз в хорошем смысле — не маркетинговый, инфраструктурный, с чётким пониманием того, что в ИИ сейчас выигрывает не тот, у кого самая умная модель, а тот, чью модель чаще вызывают. И вызывают ту модель, которая лежит в правильном MCP-сервере.

Источники: QwenLM/Qwen-MM-Plugins на GitHub, README проекта, ExplainX — Qwen-MM-Plugins: 8 Capabilities for Any Agent Harness, Remio — Alibaba Qwen Opens Multimodal Agents Beyond the Model, BotHub на Хабре — Qwen релизнули мультимодальный tool layer для ИИ-агентов, Anthropic — Donating MCP and establishing the Agentic AI Foundation.