RuBench: A Repository-Level Agentic Coding Benchmark with Natively Authored Russian Task Specifications

초보자용 해설

이 논문은 AI 코딩 에이전트(클로드 코드, 코덱스 CLI 등)가 실제 오픈소스 저장소에서 버그를 고치는 능력을 테스트하는 새로운 벤치마크 'RuBench'를 소개합니다. 특이한 점은 작업 지시사항이 영어로 번역된 게 아니라, 러시아어 원어민이 실제 고객처럼 자연스럽게 작성했다는 겁니다. 5개 인기 프로젝트(aiohttp, aiogram, Laravel, NestJS, Fastify)에서 25개 태스크를 뽑아 테스트했는데, 최고 성능 모델이 78.7%를 해결했습니다. 더 흥미로운 건, 평가 도중 클로드 코드 제품이 조용히 모델을 오퍼스 4.8로 바꿔치기하는 걸 발견했다는 점입니다. 즉, '모델 성능'이 아니라 '배포된 제품 전체'를 평가해야 한다는 걸 보여줍니다.

실무자 관점 요약

RuBench 1.0은 저장소 수준 에이전트 코딩 벤치마크로, 5개 라이브 오픈소스 레포(파이썬, PHP, 타입스크립트, 자바스크립트)에서 채굴한 25개 수정 커밋 기반 태스크로 구성됨. 각 태스크는 러시아어 원어민이 고객 요청 스타일로 처음부터 작성(번역 아님)했으며, 업스트림 유지보수자의 회귀 테스트를 오라클로 사용(비공개). 모든 수정 커밋이 평가 대상 모델들의 훈련 데이터 컷오프 이후여서 태스크별 오염 논증 가능. 제품급 구성(CLI 에이전트 + 모델 + 추론 노력) 4종을 3회 독립 실행으로 평가, pass@1과 태스크 수준 신뢰구간, 페어드 비교, 달러 비용, 토큰 사용량 보고. 최고 구성 78.7% 해결. N=25에서 최약 모델과의 격차만 통계적 유의미. 추가로 클로드 코드 + 페이블 5(2026-07-02 릴리스) 구성 궤적 감사 중 제품 차원의 세이프가드 폴백으로 20% 태스크에서 모델이 오퍼스 4.8로 묵시적 교체됨을 발견 — 배포 제품이 실제 측정 단위임을 입증. 태스크 명세, 메타데이터, 전체 에이전트 궤적, 디프 공개; 채점 오라클 비공개, 출판 시점 SHA-256 매니페스트 커밋.

왜 지금 봐야 하나요?

코딩 에이전트가 실무에 투입되면서 '영어 이슈로 정리된 벤치마크'와 '모국어로 쓴 실제 고객 요청' 사이의 갭이 커지고 있습니다. 이 논문은 그 갭을 최초로 측정했고, 더 나아가 '모델 벤치마크'가 아닌 '제품 벤치마크'의 필요성을 실증했습니다. 제품을 만드는 팀이라면 내 모델이 아니라 내 파이프라인 전체(폴백, 라우팅, 세이프가드 포함)를 평가해야 한다는 교훈을 줍니다.

직접 구현해볼 아이디어

자신이 쓰는 오픈소스 프로젝트 3~5개에서 최근 수정 커밋 5~10개씩 뽑아, 한국어 네이티브 이슈로 재작성한 미니 벤치마크 만들기. 본인의 코딩 에이전트 파이프라인(프롬프트, 툴, 폴백 로직 포함)으로 돌려 pass@1, 비용, 토큰 측정. 결과를 팀과 공유해 '우리 제품이 실제 한국어 요청에서 얼마나 작동하는지' 기준선 확보.

서비스 아이디어로 바꾸면

다국어 코딩 에이전트 평가 플랫폼 'PolyBench': 기업이 자사 코드베이스와 모국어 이슈를 업로드하면, 주요 코딩 에이전트 제품들(Claude Code, Codex, Cursor, Cline 등)을 표준화된 환경에서 돌려 pass율, 비용, 지연시간, 폴백 발생률을 리포트해주는 SaaS. '영어 벤치마크 점수'가 아닌 '우리 언어, 우리 코드에서의 실제 제품 성능'을 비교 구매 가이드로 제공.