L2: 프롬프트 진화
레이어 2는 에이전트의 시스템 프롬프트를 다듬기 위해 중간 빈도로 작동합니다. 대화 품질 메트릭을 분석하고 프롬프트 수정을 제안하며, 영구 채택 전에 A/B 프레임워크를 통해 테스트합니다.
개요
L2 진화가 다루는 영역:
- 시스템 프롬프트 다듬기 -- 지시사항의 명확성과 작업 범위 개선
- 페르소나 튜닝 -- 톤, 상세도, 커뮤니케이션 스타일 조정
- 도구 사용 지시사항 -- LLM에 도구가 설명되는 방식 최적화
- A/B 테스트 -- 배포 전 프롬프트 변경을 통계적으로 검증
A/B 테스트 프레임워크
프롬프트 수정이 제안되면 L2는 설정 가능한 평가 기간 동안 원본과 수정된 프롬프트를 병렬로 실행합니다:
- 트래픽 분배 -- 원본과 후보 프롬프트를 번갈아 사용
- 메트릭 수집 -- 작업 완료율, 사용자 만족도, 도구 사용 효율성 추적
- 통계 테스트 -- 유의성 테스트를 적용하여 승자 결정
- 승격 또는 롤백 -- 승자를 채택하거나 원본 유지
설정
toml
[self_evolution.l2]
enabled = false
schedule = "weekly"
min_samples = 50
confidence_level = 0.95
max_concurrent_experiments = 2