LLM მარშრუტიზატორი
PRX მარშრუტიზატორი არის ინტელექტუალური მოდელის არჩევის სისტემა, რომელიც ავტომატურად ირჩევს საუკეთესო LLM პროვაიდერსა და მოდელს თითოეული მოთხოვნისთვის. ის აბალანსებს ხარისხს, ხარჯსა და შეყოვნებას მრავალი მარშრუტიზაციის სტრატეგიის გამოყენებით.
მიმოხილვა
ერთი მოდელის მუდმივად გამოყენების ნაცვლად, მარშრუტიზატორი დინამიურად ირჩევს კონფიგურირებული მოდელებიდან შემდეგი პარამეტრების საფუძველზე:
- მოთხოვნის სირთულე და ტიპი
- მოდელის შესაძლებლობების ქულები და Elo რეიტინგები
- ხარჯების შეზღუდვები
- შეყოვნების მოთხოვნები
- ისტორიული წარმადობის მონაცემები
მარშრუტიზაციის სტრატეგიები
| სტრატეგია | აღწერა | საუკეთესო გამოყენება |
|---|---|---|
| ევრისტიკული | წესებზე დაფუძნებული ქულის გამოთვლა მოთხოვნის მახასიათებლების მიხედვით | მარტივი კონფიგურაციები, პროგნოზირებადი ქცევა |
| KNN | სემანტიკური მსგავსება წარსულ წარმატებულ მოთხოვნებთან | შესწავლილი მარშრუტიზაცია, მაღალი სიზუსტე |
| Automix | იწყება იაფით, ესკალაცია დაბალი საიმედოობისას | ხარჯების ოპტიმიზაცია |
კონფიგურაცია
toml
[router]
enabled = true
strategy = "heuristic" # "heuristic" | "knn" | "automix"
default_model = "anthropic/claude-sonnet-4-6"
[router.models]
cheap = "anthropic/claude-haiku"
standard = "anthropic/claude-sonnet-4-6"
premium = "anthropic/claude-opus-4-6"