LLM-маршрутизатор
Маршрутизатор PRX -- это интеллектуальная система выбора модели, автоматически подбирающая наилучшего LLM-провайдера и модель для каждого запроса. Он балансирует качество, стоимость и задержку с помощью нескольких стратегий маршрутизации.
Обзор
Вместо постоянного использования одной модели маршрутизатор динамически выбирает из настроенных моделей на основе:
- Сложности и типа запроса
- Баллов возможностей модели и рейтингов Elo
- Ограничений стоимости
- Требований к задержке
- Исторических данных производительности
Стратегии маршрутизации
| Стратегия | Описание | Лучше всего для |
|---|---|---|
| Эвристическая | Скоринг на основе правил по признакам запроса | Простые настройки, предсказуемое поведение |
| KNN | Семантическое сходство с прошлыми успешными запросами | Обучаемая маршрутизация, высокая точность |
| Automix | Начать с дешёвой модели, эскалировать при низкой уверенности | Оптимизация затрат |
Конфигурация
toml
[router]
enabled = true
strategy = "heuristic" # "heuristic" | "knn" | "automix"
default_model = "anthropic/claude-sonnet-4-6"
[router.models]
cheap = "anthropic/claude-haiku"
standard = "anthropic/claude-sonnet-4-6"
premium = "anthropic/claude-opus-4-6"