LLM-Router
Der PRX-Router ist ein intelligentes Modellauswahlsystem, das automatisch den besten LLM-Anbieter und das beste Modell fur jede Anfrage wahlt. Er balanciert Qualitat, Kosten und Latenz durch mehrere Routing-Strategien.
Ubersicht
Anstatt immer ein einzelnes Modell zu verwenden, wahlt der Router dynamisch aus konfigurierten Modellen basierend auf:
- Abfragekomplexitat und -typ
- Modellfahigkeits-Scores und Elo-Bewertungen
- Kostenbeschrankungen
- Latenzanforderungen
- Historische Leistungsdaten
Routing-Strategien
| Strategie | Beschreibung | Geeignet fur |
|---|---|---|
| Heuristisch | Regelbasierte Bewertung anhand von Abfragemerkmalen | Einfache Setups, vorhersagbares Verhalten |
| KNN | Semantische Ahnlichkeit zu vergangenen erfolgreichen Abfragen | Gelerntes Routing, hohe Genauigkeit |
| Automix | Gunstig starten, bei niedriger Konfidenz eskalieren | Kostenoptimierung |
Konfiguration
toml
[router]
enabled = true
strategy = "heuristic" # "heuristic" | "knn" | "automix"
default_model = "anthropic/claude-sonnet-4-6"
[router.models]
cheap = "anthropic/claude-haiku"
standard = "anthropic/claude-sonnet-4-6"
premium = "anthropic/claude-opus-4-6"