모델 발표 때 나오는 벤치마크 점수, 이렇게 읽으면 덜 속습니다

새 모델이 나오면 막대그래프부터 보게 됩니다. 그런데 같은 벤치마크라도 '어떻게 측정했는지'를 같이 적어두는 경우가 많아서, 그 작은 글씨를 읽는 순서만 정해두면 비교가 훨씬 쉬워집니다. 먼저 벤치마크가 무엇을 재는지 구분합니다. 널리 쓰이는 것들만 봐도 성격이 제각각입니다. 객관식 지식형(MMLU 계열), 대학원 수준 과학 문제(GPQA), 수학 경시형(AIME·MATH 계열), 코드 생성(HumanEval 계열), 실제 깃 저장소 이슈 해결(SWE-bench 계열)처럼 재는 능력이 다릅니다. 코드 점수가 높다고 장문 요약이나 한국어 문서 처리까지 같이 좋아진다는 보장은 없습니다. 다음은 측정 조건입니다. 보통 각주에 0-shot인지 few-shot인지, 사고 과정을 유도했는지(CoT), 여러 번 풀어 다수결을 취했는지(maj@k, self-consistency), 코드라면 pass@1인지 pass@k인지가 적힙니다. 같은 모델도 조건을 바꾸면 숫자가 달라지므로, 두 모델을 비교할 땐 조건이 같은 줄끼리만 맞대어 보는 게 안전합니다. 도구 사용(검색·코드 실행) 허용 여부도 큰 차이를 만듭니다. 벤치마크 '판본'도 봐야 합니다. 예를 들어 SWE-bench는 전체 세트와 검증된 부분집합처럼 서로 다른 구성이 공개돼 있고, MMLU도 개정판 계열이 따로 있습니다. 이름이 비슷해도 다른 세트면 숫자 비교 자체가 성립하지 않습니다. 출처 구분도 습관을 들이면 좋습니다. 제조사가 자체 측정해 발표한 값과, 제3자 리더보드나 독립 평가가 올린 값은 재현 환경이 다릅니다. 또 공개된 문제 세트는 학습 데이터에 섞여 들어갈 수 있다는 '오염(contamination)' 문제가 연구자들 사이에서 계속 논의 중이라, 포화 상태에 가까운 오래된 벤치마크일수록 변별력이 떨어진다는 지적이 있습니다. 마지막으로, 1~2%p 차이는 평가 세트 크기와 샘플링 무작위성 때문에 뒤집힐 수 있는 폭입니다. 숫자 하나보다 '내 작업과 닮은 과제에서의 경향'이 더 쓸모 있고, 결국 본인 업무 샘플 몇 개로 직접 돌려보는 비교가 가장 현실적입니다. 여기 적은 벤치마크 명칭과 측정 조건 표기는 각 모델의 발표 자료·모델 카드 기준이며, 세부 표기는 발표마다 다르니 원문 각주를 직접 확인하시길 권합니다. 확인 체크리스트 - 이 벤치마크가 재는 능력이 내 용도와 겹치는가 - 0-shot / few-shot / CoT / maj@k 조건이 비교 대상과 같은가 - 코드 지표가 pass@1인지 pass@k인지 - 도구 사용·검색 허용 여부가 명시돼 있는가 - 같은 이름이라도 동일한 판본(부분집합)인가 - 자체 보고값인지 제3자 측정값인지 - 한국어·장문 등 내 작업 언어와 길이에 대한 별도 수치가 있는가 - 차이가 오차 범위 수준은 아닌가