ヒューリスティックルーター
ヒューリスティックルーターは、ルールベースのスコアリングシステムを使用して各クエリに最適なモデルを選択します。クエリの特徴（長さ、複雑さ、ツール要件）を分析し、モデルの機能プロファイルと照合します。
仕組み
- 特徴抽出 -- クエリの長さ、キーワードパターン、ツール要件を分析
- 機能スコアリング -- 抽出された特徴に基づいて各モデルの適合性をスコアリング
- コスト重み付け -- シンプルなクエリにはより安価なモデルを優先するコスト設定を適用
- 選択 -- 最小品質しきい値を満たす最高スコアのモデルを選択
スコアリング要素
| 要素 | 重み | 説明 |
|---|---|---|
| 機能マッチ | 0.4 | クエリタイプを処理するモデルの能力 |
| Elo レーティング | 0.2 | モデルの履歴パフォーマンス |
| コスト効率 | 0.2 | ドルあたりのトークン数 |
| レイテンシ | 0.1 | 平均応答時間 |
| コンテキストウィンドウ | 0.1 | 会話コンテキストへの適合 |
設定
toml
[router]
strategy = "heuristic"
[router.heuristic]
complexity_threshold = 0.6
prefer_cheap_below = 0.4
elo_weight = 0.2
cost_weight = 0.2