الموجّه الاستدلالي
يستخدم الموجّه الاستدلالي نظام تقييم قائمًا على القواعد لاختيار النموذج الأمثل لكل استعلام. يحلل خصائص الاستعلام (الطول، التعقيد، متطلبات الأدوات) ويطابقها مع ملفات قدرات النماذج.
كيف يعمل
- استخراج الخصائص -- تحليل الاستعلام للطول وأنماط الكلمات المفتاحية ومتطلبات الأدوات
- تقييم القدرات -- تقييم ملاءمة كل نموذج بناءً على الخصائص المستخرجة
- وزن التكلفة -- تطبيق تفضيلات التكلفة لتفضيل النماذج الأرخص للاستعلامات البسيطة
- الاختيار -- اختيار النموذج الأعلى تقييمًا الذي يحقق الحد الأدنى من عتبات الجودة
عوامل التقييم
| العامل | الوزن | الوصف |
|---|---|---|
| مطابقة القدرات | 0.4 | قدرة النموذج على معالجة نوع الاستعلام |
| تقييم Elo | 0.2 | الأداء التاريخي للنموذج |
| كفاءة التكلفة | 0.2 | Tokens per dollar |
| زمن الاستجابة | 0.1 | متوسط وقت الاستجابة |
| نافذة السياق | 0.1 | مدى ملاءمة سياق المحادثة |
الإعداد
toml
[router]
strategy = "heuristic"
[router.heuristic]
complexity_threshold = 0.6
prefer_cheap_below = 0.4
elo_weight = 0.2
cost_weight = 0.2