Routeur LLM
Le routeur PRX est un systeme intelligent de selection de modeles qui choisit automatiquement le meilleur fournisseur et modele LLM pour chaque requete. Il equilibre qualite, cout et latence en utilisant plusieurs strategies de routage.
Apercu
Au lieu d'utiliser toujours un seul modele, le routeur selectionne dynamiquement parmi les modeles configures en fonction de :
- La complexite et le type de la requete
- Les scores de capacite et classements Elo des modeles
- Les contraintes de cout
- Les exigences de latence
- Les donnees de performance historiques
Strategies de routage
| Strategie | Description | Ideal pour |
|---|---|---|
| Heuristique | Scoring base sur des regles utilisant les caracteristiques de la requete | Configurations simples, comportement previsible |
| KNN | Similarite semantique avec les requetes passees reussies | Routage appris, haute precision |
| Automix | Commencer economique, escalader en cas de faible confiance | Optimisation des couts |
Configuration
toml
[router]
enabled = true
strategy = "heuristic" # "heuristic" | "knn" | "automix"
default_model = "anthropic/claude-sonnet-4-6"
[router.models]
cheap = "anthropic/claude-haiku"
standard = "anthropic/claude-sonnet-4-6"
premium = "anthropic/claude-opus-4-6"