• CWE-bench v2: 더 넓은 범위, 높은 품질, 향상된 투명성
  • 결과
  • Hugging Face Hub에서 실행하기

이 글은 Hugging Face 블로그의 CWE-bench v2: More coverage, quality, and transparency를 한국어로 번역한 글입니다.

CWE-bench v2: 더 넓은 범위, 높은 품질, 향상된 투명성

CWE-bench는 최첨단 사이버 역량의 한계를 시험하도록 설계되었습니다. Collinear AI에서 지평을 계속 넓혀 나가는 노력의 일환으로, CWE-bench v2는 누구나 실행하고 자신의 모델을 평가할 수 있는 100개 태스크의 공개 세트를 공개합니다. 설정은 이전과 동일합니다. 에이전트는 실제 오픈 소스 repository의 checkout과 짧은 지시를 받고, 기존 기능을 손상시키지 않으면서 보안 약점을 찾아 수정해야 합니다. 점수 산정은 전적으로 프로그래밍 방식으로 이루어지므로 결과가 결정적이며, 누구나 추가 비용 없이 재현할 수 있습니다. 모든 프로그래밍 방식의 검사는 난이도와 공정성을 높이는 방향으로 조정하는 LLM judge 패널의 도움을 받아 선별했습니다. 또한 held-out set도 유지하고 있으므로, 어떤 모델도 본 적 없는 태스크에서의 진행 상황을 계속 추적할 수 있습니다. held-out set에서 모델을 평가하려면 cyber@collinear.ai로 문의하세요.

우리의 목표는 빠짐없이 검증하는 것입니다. 방어자는 공격자가 침입할 수 있는 방법을 예상하고, 매번 반드시 정확하게 대응해야 합니다. 이 100개 태스크는 91개의 서로 다른 CWE를 다루며, 광범위한 취약점 클래스를 포괄합니다. 여기서 좋은 성과를 내는 모델은 잠재적인 공격자가 악용할 수 있는 여러 약점 표면을 이해해야 합니다. 익숙한 패턴을 인식하는 것만으로는 충분하지 않습니다.

품질을 계속 개선하기 위한 세심한 노력의 일환으로, 모든 태스크에 대해 다음 질문에 부합하는지 확인했습니다.

• 지시가 평가 환경이 아니라 현실적인 지시처럼 읽히는가?
• 채점되는 모든 동작을 지시만으로 추론할 수 있는가?
• verifier가 특정 수정 방식의 구조가 아니라 올바른 동작을 검사하는가?
• starter code는 실패하고 reference fix는 통과하는가?
• 새로운 수정 사항을 적용해도 원래 기능이 계속 작동하는가?
• verifier가 알려진 upstream patch 같은 암기한 해법을 실패 처리하는가?

모든 태스크는 수작업으로도 검토했습니다. 이 세트를 오픈 소스로 공개하는 것 역시 품질을 개선하기 위한 노력의 일환입니다. 어떤 태스크에 대해서든 피드백을 보내 주시고, 공개 세트에 기여해 주시기를 바랍니다.

결과

결과는 Hugging Face Hub의 두 곳에서 추적됩니다. CWE-bench 데이터셋 페이지의 리더보드는 open-weight 모델을 다루며 자체적으로 업데이트됩니다. 연구소와 커뮤니티는 결과 파일과 함께 모델의 repo에서 PR을 열어 결과를 추가할 수 있습니다(방법). Gemini, Claude, GPT와 같은 API 전용 모델을 포함한 전체 비교 결과는 CWE-bench 리더보드 Space에서 확인할 수 있으며, 이곳에서는 Space에서 PR을 열어 새 모델을 추가합니다.

데이터셋 페이지의 open-weight 모델:

API 전용 모델을 포함한 모든 평가 모델:

평가된 11개 모델 중 Gemini 4 Argon이 pass@1 67.8%, pass@4 81.0%로 선두를 차지했으며, Claude Opus 5.5(pass@1 67.3%, pass@4 78.0%)를 근소하게 앞섰습니다. 95개 태스크는 하나 이상의 모델이 해결했으며, 이는 태스크가 실제로 해결 가능하다는 것을 보여줍니다. 그러나 선두 모델조차 매번 시도할 때마다 세트의 19%를 실패하므로, 긴 꼬리 영역은 아직 해결과 거리가 멉니다. 공개 세트, grader, harness가 모두 공개되어 있습니다. 여러분의 모델을 실행하고, 어떤 성과를 내는지 알려 주세요.

비용 측면에서는 DeepSeek V4.1 Flash (1017), Claude Opus 5.5, Gemini 4 Argon이 Pareto frontier를 형성합니다. DeepSeek는 rollout당 $0.04의 비용으로 pass@1 57.0%에 도달하고, Opus는 $1.83의 비용으로 10포인트를 더하며, Gemini는 $3.92의 비용으로 근소하게 앞섭니다.

Hugging Face Hub에서 실행하기

모든 태스크는 독립적으로 구성된 Harbor 태스크(Dockerized 환경, 지시, 결정적 verifier)이며, 데이터셋에는 registry.json도 포함되어 있습니다. 따라서 Harbor를 사용하면 직접 clone하지 않고도 Hugging Face repository에서 벤치마크 전체를 바로 실행할 수 있습니다.

harbor run --repo "https://huggingface.co/datasets/collinear-ai/cwe-bench" -d cwe-bench@2.0 -k 4 \
  --agent <agent> --model <model> --env docker \
  --allow-agent-host <model API host>

-k 4는 태스크당 4번 시도하며, 보고되는 점수는 총 400회 trial에 대한 평균 reward입니다. 데이터셋은 gated 상태이므로 먼저 데이터셋 페이지에서 액세스 조건에 동의하세요. Harbor는 git으로 태스크를 가져오므로, HF token도 한 번 git의 credential helper에 저장해야 합니다.

hf auth login --token $HF_TOKEN --add-to-git-credential

태스크에는 rl-environment 태그도 지정되어 있습니다. 동일한 환경과 verifier를 사용해 평가뿐 아니라 방어 에이전트 학습을 위한 reward도 제공할 수 있습니다.