홈 · 아, 그래서였구나

대본

1. 어떤 AI가 제일 똑똑할까? 그건 누가 정할까요?
2. 알고 보면 AI도 학생처럼 시험을 봅니다. 점수로 줄을 세우죠.
3. 유명한 시험 하나는 57과목, 문제만 1만 5천 개가 넘죠.
4. 그런데 이 문제들, 인터넷에 공개돼 있어요. AI는 인터넷을 읽으며 배우고요.
5. 그러니 답을 미리 봤을 수도 있는 거죠.
6. 연구진이 비슷한 수학 문제를 새로 만들었더니,
7. 일부 AI는 점수가 최대 8점이나 떨어졌어요.
8. 그래서 사람도 심사해요. 이름 가린 AI 둘 중 더 나은 답에 투표하는 거죠.
9. 그런데 투표도 공략이 됩니다. 메타는 대화용 특별판으로 상위권에 올랐죠.
10. 실제로 공개한 버전은 순위가 한참 아래였죠.
11. 결국 1등은 시험 잘 보는 AI. 똑똑함 그 자체는 아니에요.
12. 선생님이라면? 답을 봤을지 모를 AI, 1번 재시험? 2번 그냥 통과?

출처

1. Quanta Magazine, "He Wants AI Benchmarking To Be a Science, Not a Dark Art" (2026-10-16)
2. Hendrycks et al., "Measuring Massive Multitask Language Understanding" (ICLR 2021, arXiv 2020-09)
3. GitHub, hendrycks/test (MMLU 공개 데이터)
4. Zhang et al. (Scale AI), "A Careful Examination of Large Language Model Performance on Grade School Arithmetic" (arXiv 2024-05)
5. NeurIPS 2024 Datasets and Benchmarks, 같은 논문 최종본
6. LMArena, "FAQ"
7. TechCrunch, "Meta's vanilla Maverick AI model ranks below rivals on a popular chat benchmark" (2025-04-11)
8. The Register, Llama 4 LMArena 순위 논란 기사 (2025-04-08, 제목 미확인)
9. Simon Willison, LMArena 성명 인용 (2025-04-08)