Model Routing: как выбирать модель под задачу

Классы — под задачи, а не «хорошие и плохие»: рассуждающие флагманы (код, агенты), дешёвые инструктивные (классификация, справки), длинные контексты, кодовая специализация, зрение и генерация со своей тарификацией. Внутри класса смотрите ставки входа и выхода, окно и особые условия сверхдлинных запросов; цифры — из каталога на день, в статье — порядки.

Цена считается парой «вход плюс выход»: болтливая задача на дешёвом входе с дорогим выходом проигрывает сдержанной на сбалансированном тарифе. Скорость — до первого токена и полная. Инструменты и следование инструкциям важнее общих баллов для агентов; бенчмарки читайте внутри одного рейтинга, финал — всегда ваш замер.

Базовая схема: входящая задача сначала классифицируется (правилами или дешёвой моделью), простое уходит младшей, сложное — сильной. Порог эскалации настраивается: низкая уверенность, признаки сложности, явная просьба качества. Классификатор ошибается в обе стороны — закладывайте дешёвую перепроверку спорных случаев, а не идеальную точность.

Числовой пример на порядках: десять тысяч запросов в день, каждый — две тысячи входных и пятьсот выходных токенов. Всё флагманом — сотни в день. Всё младшей — единицы. Смесь «95% младшей, 5% эскалация флагману» — десятки, то есть экономия порядка 90%+ от «всё флагманом» при сохранении качества на сложных пяти процентах. Подставьте свои объёмы и ставки из каталога — пропорции сохранятся.

Свежий кейс конца сентября 2026 года: вышла модель среднего класса дешевле флагмана, у которой вызов инструментов работает только через один маршрут, а часть уровней рассуждений и настроек выборки отключена. Правило роутинга отсюда трехуровневое: задачи с инструментами — только на модели с поддержкой нужного маршрута (проверяется в каталоге, а не по памяти); уровень рассуждений — отдельная ось маршрутизации; запрещённые для модели параметры вычищаются из запроса до отправки, иначе отказ. Новые модели сначала прогоняйте через smoke-маршруты, и только потом впускайте в роутер.

Каскад — лестница «дешёвая → средняя → флагман» по явному условию: код ошибки, оценка качества, таймаут. После последней ступени — честная неудача, не круг. Здесь fallback — это другая модель, не другой провайдер: смена провайдера с тем же запросом разбирается в статье про gateway. Лимит — это downgrade или очередь, а не повтор в лоб. На каскад — бюджет попыток и денег.

Роутер окупается на объёме и разнородности. Вредит при малом объёме и однородности: разработка и потеря кэша съедают больше экономии. Метрика — цена успешного исхода. Старт: два класса и одно правило.