L2: Эволюция промптов
Уровень 2 работает со средней частотой для уточнения системных промптов агента. Он анализирует метрики качества разговоров и предлагает модификации промптов, проверяя их через фреймворк A/B-тестирования перед постоянным принятием.
Обзор
L2-эволюция охватывает:
- Уточнение системного промпта -- улучшение ясности инструкций и покрытия задач
- Настройку персоны -- корректировку тона, многословности и стиля общения
- Инструкции использования инструментов -- оптимизацию описания инструментов для LLM
- A/B-тестирование -- статистическую валидацию изменений промпта перед внедрением
Фреймворк A/B-тестирования
Когда предлагается модификация промпта, L2 запускает оригинальный и модифицированный промпты параллельно на настраиваемый период оценки:
- Разделение трафика -- чередование между оригинальным и кандидатским промптами
- Сбор метрик -- отслеживание завершения задач, удовлетворённости пользователей, эффективности использования инструментов
- Статистический тест -- применение теста значимости для определения победителя
- Продвижение или откат -- принятие победителя или сохранение оригинала
Конфигурация
toml
[self_evolution.l2]
enabled = false
schedule = "weekly"
min_samples = 50
confidence_level = 0.95
max_concurrent_experiments = 2