코딩 에이전트에 커스텀 기능(Skill), 특정 데이터 소스 연동(MCP 도구), 또는 프롬프트 지침(AGENTS.md)을 추가할 때 개발자가 직면하는 가장 큰 불안은 "이 수정이 기존에 잘 되던 기능까지 망가뜨리지 않을까?"하는 회귀(Regression) 문제입니다.

일반 소프트웨어 개발에서는 단위 테스트와 CI 파이프라인이 안전망 역할을 하지만, 확률적으로 동작하는 LLM 에이전트 시스템에서는 정형화된 테스트 도구가 부족했습니다. GitHub이 11월 17일 발표한 Copilot Evals 공개 프리뷰와 로컬 평가 엔진 Vally는 이 문제를 해결하기 위한 GitHub의 공식 표준 프레임워크입니다.

/eval 명령의 작동 원리

GitHub Copilot Evals는 저장소 루트의 평가 매니페스트(copilot-evals.json)를 기반으로 구동됩니다. 개발자가 CLI에서 /eval 명령을 실행하면 로컬 엔진 Vally가 테스트 스위트를 순차 실행합니다.

# 특정 Skill의 회귀 테스트 실행
gh copilot eval --suite ./evals/git-commit-skill.json

# 변경 전후 브랜치 회귀 비교 (A/B Test)
gh copilot eval --baseline main --target feature/new-mcp-tool

이 워크플로의 핵심 특징은 결정론적 로컬 평가 엔진 Vally의 탑재입니다.

  1. 외부 API 호출 없는 로컬 시뮬레이션: Vally는 미리 기록된 모델 상호작용 궤적(Trajectory)과 모의 응답(Mock responses)을 활용하여 네트워크 비용과 외부 서비스 지연 없이 로컬 머신에서 빠르게 회귀 여부를 판별합니다.
  2. 명확한 판정 기준 (Pass/Fail Criteria): 텍스트 유사도 점수에 의존하지 않고, 에이전트가 호출한 도구 이름, 전달된 인자(Arguments)의 유효성, 상태 변경 결과의 일치 여부를 프로그래밍 방식으로 엄격히 판정합니다.
  3. 베이스라인 대비 통계적 회귀 감지: 동일한 평가 프롬프트를 복수 회차(5~10회) 실행하여 통과율 변화, 토큰 소모 증가량, 비정상적 추론 홉(hop) 수 증가를 감지하고 경고를 출력합니다.

Copilot Benchmarks: 하네스(Harnesses) 비교 화면 공개

Copilot Evals 공개와 더불어, GitHub은 공식 벤치마크 대시보드에 "Harnesses" 비교 화면을 새롭게 추가했습니다.

그동안 모델 벤치마크는 모델이 무엇인지에만 집중했으나, GitHub의 새 대시보드는 동일 모델(Identical Foundation Model)과 동일한 Medium 추론 설정을 고정한 상태에서 각 벤더의 에이전트 하네스만을 비교합니다.

[동일 파운데이션 모델 & Medium Reasoning Level 고정]
             │
 ┌───────────┼───────────┐
 ▼           ▼           ▼
[Copilot CLI] [Claude Code] [Codex CLI]
(Microsoft SDK) (Anthropic Harness) (Codex Pipeline)
 │           │           │
 └───────────┼───────────┘
             ▼
[Terminal-Bench-Science 0.1 태스크 실행]
- 성공률 (Pass Rate)
- 작업당 평균 비용 (Mean Cost per Task)
- 95% 근사 신뢰구간 (Confidence Intervals)

이 비교 데이터에는 과학 및 터미널 자동화 벤치마크인 Terminal-Bench-Science 0.1이 공식 측정 도구로 사용되었습니다. 결과에 따르면 하네스가 프롬프트 압축을 어떻게 처리하느냐에 따라 동일 모델임에도 작업 완료율에서 8~14%p의 차이가 측정되었으며, 실행 간 변동성(Variance)에서도 하네스별 안정성 격차가 확인되었습니다.

실무 에이전트 회귀 방지 파이프라인

조직 내에서 Copilot Evals나 MCP 도구를 유지보수할 때 다음과 같은 파이프라인 구축이 권장됩니다.

단계 검증 항목 도구 및 방식
PR 생성 시 MCP 도구 스키마 및 Skill 프롬프트 파싱 검증 gh copilot eval --local (Vally 엔진)
기능 변경 시 기존 표준 워크플로 통과율(Pass rate) 비교 main 브랜치 베이스라인 대비 A/B 차이 검사
배포 전 복합 시나리오에서의 비정상 토큰 폭증 감지 비용 및 지연시간 상한선(Budget threshold) 설정

Skill이나 MCP 서버를 단순히 작성하고 감(intuition)에 의존해 배포하던 시대에서, 정량적 Evals를 통과한 에이전트 설정만 배포하는 엔지니어링 규율이 확립되고 있습니다.