휴리스틱 라우터
휴리스틱 라우터는 규칙 기반 점수 시스템을 사용하여 각 쿼리에 최적의 모델을 선택합니다. 쿼리 특성 (길이, 복잡도, 도구 요구 사항)을 분석하고 모델 기능 프로필과 매칭합니다.
작동 방식
- 특성 추출 -- 길이, 키워드 패턴, 도구 요구 사항에 대해 쿼리 분석
- 기능 점수 -- 추출된 특성을 기반으로 각 모델의 적합성 점수 산출
- 비용 가중치 -- 간단한 쿼리에 저렴한 모델을 선호하도록 비용 선호도 적용
- 선택 -- 최소 품질 임계값을 충족하는 최고 점수 모델 선택
점수 요소
| 요소 | 가중치 | 설명 |
|---|---|---|
| 기능 매칭 | 0.4 | 쿼리 유형을 처리하는 모델의 능력 |
| Elo 레이팅 | 0.2 | 과거 모델 성능 |
| 비용 효율성 | 0.2 | 달러당 토큰 |
| 지연 시간 | 0.1 | 평균 응답 시간 |
| 컨텍스트 윈도우 | 0.1 | 대화 컨텍스트에 맞는지 여부 |
설정
toml
[router]
strategy = "heuristic"
[router.heuristic]
complexity_threshold = 0.6
prefer_cheap_below = 0.4
elo_weight = 0.2
cost_weight = 0.2