LLM-оркестрация: когда сложный AI дороже, чем полезнее

Ещё год назад «AI-агент» звучало как маркетинговая метафора. Сейчас это конкретный продукт: сервисы, которые не просто отвечают на запрос, а несколько раз перепроверяют себя, спорят «сами с собой» или генерируют десяток вариантов и выбирают лучший. Такой подход называется оркестрацией — модель тратит больше вычислений на один и тот же вопрос, чтобы получить более качественный ответ. Логика продавцов подобных инструментов простая: чем больше шагов рассуждения, тем умнее результат, а значит, за него не жалко и заплатить больше.

Именно это распространённое допущение и решила проверить экспериментально группа исследователей из Zuse Institute Berlin, TU Berlin и Weizenbaum Institute — Николас Ляйнс, Нико Пеллерити, Яна Гоннерманн-Мюллер и Себастьян Покутта. В начале августа 2026 года они опубликовали работу «When Does LLM Orchestration Pay Off? A Controlled Evaluation of Accuracy, Cost, and Task Difficulty» — «контролируемое» исследование в том смысле, что авторы намеренно убрали из сравнения все посторонние переменные, которые обычно смазывают такие тесты: разный бюджет на оптимизацию, разные наборы задач для разных методов, разные модели «под капотом». Осталась одна переменная — сама оркестрация — и вопрос, окупает ли она себя.

Что проверяли

Авторы сравнили три популярных метода «оркестрации» языковых моделей — Self-Refine (модель дорабатывает свой же ответ), Best-of-N (генерируется несколько вариантов, выбирается лучший) и Debate (несколько «ролей» модели спорят друг с другом) — против обычного одиночного запроса и запроса с пошаговым рассуждением (chain-of-thought). Тестировали на пяти разных моделях и трёх типах задач: конкурентное программирование, шахматные задачи и математика. Чтобы сравнение было честным, каждый метод оптимизировали с одинаковым бюджетом — иначе можно случайно сравнить «прокачанный» подход с «сырым».

Главный вывод: прирост есть, но он маленький и дорогой

В среднем оркестрация дала прирост точности на 4,5–4,6 процентных пункта по сравнению с обычным запросом. Звучит неплохо — до тех пор, пока не смотришь на цену: multi-step методы потребляли в 2–4 раза больше токенов, то есть в разы больше вычислений и денег на один и тот же ответ.

Чтобы почувствовать масштаб, переведём это в понятные величины. Допустим, обычный запрос к модели для генерации рекламного текста стоит условно 1 рубль в токенах. Оркестрированная версия того же запроса — с самопроверкой или несколькими вариантами на выбор — обойдётся в 2–4 рубля. При объёме в несколько тысяч креативов в месяц разница уходит далеко за пределы «незаметных расходов на AI» и превращается в отдельную строку бюджета, которую надо явно оправдывать приростом в 4–5 процентных пунктов точности — а не подразумеваемым «ну наверняка стало лучше».

Три наблюдения, которые ломают привычную интуицию

Помимо самого факта, что оркестрация не бесплатна, у исследования есть три вывода, которые расходятся с тем, что подсказывает здравый смысл.

• Прирост от оркестрации не растёт вместе со сложностью задачи. Интуиция подсказывает: чем труднее вопрос, тем полезнее «подумать несколько раз» — примерно так и объясняют ценность multi-step подходов их разработчики. Авторы специально проверили эту связь на задачах, размеченных по человеческой оценке сложности, и не нашли, что относительная выгода от оркестрации растёт вместе с трудностью. Иногда сложная задача выигрывает от дополнительных шагов не больше, чем простая.
• Эффективность метода сильно зависит от конкретной модели, а не только от самого метода. Исследователи обнаружили выраженное взаимодействие «метод × модель»: один и тот же Best-of-N может ощутимо поднимать точность на одной модели и почти не давать эффекта на другой. Из этого следует не самый удобный практический вывод — прежде чем внедрять оркестрацию, недостаточно один раз протестировать метод в целом, нужно проверять его именно на той модели, которую вы собираетесь использовать в проде.
• Дороже — не значит стабильно лучше. Разброс результатов между моделями внутри одного и того же метода оркестрации в отдельных случаях оказывался больше, чем разница между самим методом и baseline. То есть выбор модели под капотом иногда важнее, чем то, оркестрируете вы её ответы или нет.

При чём тут маркетинг

Формально исследование — про соревновательное программирование, шахматы и математику. Но вывод куда шире и касается любого маркетолога, который сейчас выбирает AI-инструменты для работы с рекламой. Вот три типичных сценария, где логика исследования применима напрямую.

• Генерация креативов. Сервисы, которые предлагают «AI пишет вариант, сам его критикует и переписывает» — это Self-Refine в чистом виде. Дополнительный проход действительно иногда убирает очевидные огрехи текста, но по данным исследования далеко не всегда оправдывает удвоенную-утроенную стоимость генерации по сравнению с обычным запросом плюс быстрая правка человеком.
• Чат-боты поддержки и обработка обращений. Debate-подход, где несколько «ролей» модели спорят перед финальным ответом, снижает вероятность откровенно неверного ответа, но заметно увеличивает время отклика и стоимость каждого диалога. Для несложных типовых обращений («где мой баланс», «как пополнить счёт») это избыточно; для спорных ситуаций с деньгами клиента — может быть оправдано.
• Автоматическая проверка текстов на соответствие гайдлайнам. Best-of-N, где генерируется несколько вариантов проверки и выбирается наиболее уверенный, полезен там, где цена пропущенной ошибки высока (например, юридические формулировки в рекламе финансовых продуктов), и избыточен для рутинной проверки орфографии.

Как оценить, окупается ли оркестрация именно у вас

Исследование предлагает не просто «доверяй или не доверяй», а конкретный способ проверки, который несложно повторить на своих задачах.

• Шаг 1. Зафиксировать baseline — качество и стоимость обычного одиночного запроса на репрезентативной выборке ваших реальных задач, а не на трёх удачных примерах.
• Шаг 2. Прогнать ту же выборку через оркестрированную версию с той же моделью и посчитать не только итоговое качество, но и фактический расход токенов — большинство API считает его в биллинге напрямую.
• Шаг 3. Посчитать цену одного процентного пункта прироста качества — прирост точности, делённый на разницу в стоимости. Именно это число, а не абсолютный прирост качества, стоит сравнивать между разными инструментами.
• Шаг 4. Повторить тест при смене базовой модели — исследование прямо показывает, что вывод для одной модели не переносится автоматически на другую.

Что с этим делать

• Спрашивать не «сколько шагов», а «что именно эти шаги дают». Дополнительное согласование или самопроверка полезны для задач с высокой ценой ошибки (юридические тексты, финансовые расчёты) и почти бесполезны для рутинной генерации вариантов заголовков.
• Сравнивать прирост качества с ростом стоимости на своих данных, а не на демо вендора. 4–5 п.п. точности за четырёхкратный рост токенов может окупаться в одном сценарии и быть убыточным в другом.
• Не считать сложность задачи автоматическим оправданием для более «тяжёлого» AI-инструмента — исследование показывает, что эта связь далеко не всегда работает.
• Тестировать конкретную пару «инструмент + модель», которую предлагает поставщик решения, а не переносить чужие бенчмарки на свой стек.

Оркестрация — не плохая идея сама по себе, и в части сценариев она действительно окупается. Но относиться к ней стоит как к любому другому платному апгрейду: с калькулятором в руках, а не с верой в то, что «больше AI» автоматически значит «лучше результат».