Claude Code팀의 AI 코드 검증 전략

원제: How the Claude Code team thinks about verification

왜 중요한가

AI가 대부분의 코드를 작성하는 시대에, 검증 루프 설계가 소프트웨어 품질과 개발 속도를 가르는 핵심 역량으로 부상하고 있다.

Anthropic의 Claude Code팀은 2026년 11월 16일, 전체 코드의 약 90%를 Claude가 작성·검토하는 환경에서 AI 에이전트가 스스로 결과를 검증하는 방법론을 공식 블로그에 공개했다. 별도 채점 모델이 루브릭 기준으로 Claude 작업을 평가할 경우 태스크 성공률이 최대 10포인트 향상됐으며, 특히 난이도 높은 문제에서 개선 폭이 가장 컸다고 밝혔다.

Claude Code팀 엔지니어 Addy Osmani가 작성한 이 글은, 에이전트 기반 개발에서 검증 루프가 왜 필수 인프라인지를 구체적인 수치와 함께 설명한다.

팀에 따르면 검증 루프 없이는 사람이 직접 확인해야 하므로 동시에 운용 가능한 Claude 수가 1~2개에 그친다. 반면 검증 루프를 갖추면 수십~수백 개를 병렬 실행할 수 있다. 에이전트가 테스트·벤치마크·명세를 직접 생성하고, 생성된 테스트는 소프트웨어로 실행되기 때문에 추가 토큰 비용이 거의 없다.

팀이 권장하는 세 가지 테스트 유형은 다음과 같다.

첫째, **E2E(엔드-투-엔드) 테스트**다. 장바구니 추가→결제→확인 페이지처럼 실제 사용자 흐름 전체를 검증한다. 단위 테스트는 통과해도 기능이 망가질 수 있지만, E2E는 기능이 작동하거나 작동하지 않거나 둘 중 하나이기 때문에 속이기 어렵다. CDP, 시뮬레이터, API 하네스 같은 도구로 에이전트에게 실행 중인 시스템을 직접 조작하는 '손과 눈'을 부여할 수 있다.

둘째, **속성(property) 테스트**로, 특정 입력값 대신 조건(예: '출력은 항상 양수여야 한다')을 기술해 임의 입력에 대해 반복 검증한다. 셋째, **차분(differential) 테스트**는 기존 구현과 신규 구현의 출력을 비교해 의도치 않은 변경을 잡아낸다.

또한 팀은 테스트 자체의 신뢰성 유지를 강조한다. 불안정한(flaky) 테스트는 에이전트가 코드를 고치는 대신 테스트를 재실행하도록 학습시키는 부작용이 있다. 반복 실패 패턴이 발견되면 CLAUDE.md에 명시적 규칙이나 훅을 추가해 재발을 차단하는 방식을 활용한다고 밝혔다.

출처

claude.dev — 원문 읽기 →