Эвристический маршрутизатор
Эвристический маршрутизатор использует систему скоринга на основе правил для выбора оптимальной модели для каждого запроса. Он анализирует признаки запроса (длина, сложность, требования к инструментам) и сопоставляет их с профилями возможностей модели.
Как это работает
- Извлечение признаков -- анализ запроса по длине, паттернам ключевых слов и требованиям к инструментам
- Скоринг возможностей -- оценка пригодности каждой модели на основе извлечённых признаков
- Весовой коэффициент стоимости -- применение предпочтений стоимости для предпочтения дешёвых моделей для простых запросов
- Выбор -- выбор модели с наивысшим баллом, удовлетворяющей минимальным порогам качества
Факторы скоринга
| Фактор | Вес | Описание |
|---|---|---|
| Совпадение возможностей | 0.4 | Способность модели обработать тип запроса |
| Рейтинг Elo | 0.2 | Историческая производительность модели |
| Экономичность | 0.2 | Токенов за доллар |
| Задержка | 0.1 | Среднее время ответа |
| Контекстное окно | 0.1 | Вмещение контекста разговора |
Конфигурация
toml
[router]
strategy = "heuristic"
[router.heuristic]
complexity_threshold = 0.6
prefer_cheap_below = 0.4
elo_weight = 0.2
cost_weight = 0.2