# AI 벤치마크 테스트는 인간의 일자리 10%밖에 커버하지 못하고 있다.

> https://bookfactory.kr/board/news/22727
> 게시판: 뉴스
> 작성자: tachikoma43
> 작성일: 2026-10-19T23:44:34.936Z

---

AI의 성능을 측정하는 벤치마크 테스트 중에는 “인간의 일을 어느 정도의 정확도로 수행할 수 있는가”를 측정하는 것들이 많습니다. 그러나こうした 벤치마크는 “일부의 작업”만을 커버하고 있으며, AI가 노동을 대행할 수 있다는 결과가 나타나더라도, 그것은 노동 전체 중의 아주 작은 부분을 의미할 수 있다는 분석 결과가 공표되었습니다. 미국 경제의 벤치마크 지도 | Mercor https://www.mercor.com/research/labor-index/benchmark-map/ 머코어(Mercor)는 AI 연구 기관으로서, 지금까지 공개된 노동 관련 벤치마크의 대부분이 “AI에게 실행하기 쉬운 작업”을 중심으로 검증되어 왔기 때문에, AI의 능력이 과대 평가될 수 있다고 지적합니다. 특히, 임금이 높은 직종은 폭넓게 커버되는 반면, 임금이 낮은 직종은 그다지 커버되지 않고 있으며, 노동자 수의 비율로 보았을 때 많은 일들이 벤치마크에 의해 검증받지 않은 채 그대로 남아있다는 점을 시사합니다. 억, 만, 척 등의 숫자 및 단위는 그대로 유지합니다.

멜코는 미국 노동부에서 공개하는 직업 분류법 “O*NET”을 채택하여 기존의 대표적인 29종류의 벤치마크가 얼마나 많은 직종을 포괄하고 있는지를 조사했습니다. O*NET는 미국 노동 인구를 923개의 직종으로 분류하고, 그 직종에서 일반적으로 발생하는 1만 8797개의 “태스크”를 포함하는 데이터베이스입니다. 예를 들어 변호사의 경우 22개의 태스크가 있다고 されています. 그 중 대표적인 6개의 태스크는 다음과 같습니다. 1. 유언장, 증서, 특허 출원 서류, 담보권 설정 서류, 임대차 계약서, 기타 계약서 등의 법적 문서를 작성하고, 초안을 작성하고, 심사합니다. 2. 상거래, 청구 책임, 소송 제기, 법적 권리 및 의무에 대해, 의뢰인에게 조언합니다. 3. 개인이나 기업을 위해 법률, 판결, 규정을 해석합니다. 4. 선례에 대한 지식을 사용하여 소송 결과로 예상되는 전개 과정을 분석합니다. 5. 형사 소송 또는 민사 소송에서 의뢰인을 변호하거나 피고를 기소하기 위해 증거를 제시합니다. 6. 법률 보조원을 감독합니다.

멜코는 29종류의 AI 벤치마크를 선정하고, 각 벤치마크의 테스트 항목을 기존 작업에 연결했습니다. 그리고, 특정 작업에 5건 이상의 테스트 항목이 연결되었을 때, “그 작업이 벤치마크에서 충분히 커버되고 있다고 판단했습니다.” 그 결과, 923개의 직종 중 연결된 작업의 최소한 일부에 대해 5건 이상의 테스트 항목이 연결된 직종은 208에 그쳤습니다. 구체적인 예를 들면, 소프트웨어 엔지니어링, 법률, 회계와 같은 직종은 AI 벤치마크에서 비교적 많이 다루어졌지만, 트럭 운전, 가스 플랜트 운영과 같은 직종은 소수였습니다. 이러한 소수 직종은, 기사 작성 시점에서의 AI에서는 다루기에 어려웠고, AI 연구자가 테스트를 만들기에 어려웠기 때문에 벤치마크에서 채택되지 않았을 가능성이 있습니다.

또한, AI의 영향을 받을 가능성이 있는 직업이라도, 법률비서(법무사)나 재판소 서기관과 같은 직의 업무는 변호사의 업무에 비해 커버되는 비율이 낮다는 점도 확인되었습니다. 멜콜(Mercola)은 “기존의 벤치마크가 커버하는 업무는 업무의 경제 규모에 좌우된다”고 지적하며, 규모가 클수록 AI 벤치마크에서 커버될 가능성이 높고, 다른 직종은 AI 벤치마크에서 간과될 가능성이 있다고 논지했습니다. 멜콜에 따르면, 미국에서 이루어지는 업무 중 완전히 원격으로 수행 가능한 것은 37%에 불과하며, 나머지 63%의 업무에는 “벤치마크에 포함하기 어려운 물리 세계와 관련된 업무”가 포함될 가능성이 있다고 합니다. 멜콜은 “노동시간이라는 관점에서는, 90% 이상의 노동이 기존 벤치마크에서 거의 또는 전혀 커버되지 않는다”고 결론짓고, 기존 벤치마크 결과만으로는 실제 경제에 미치는 AI의 영향을 제대로 측정할 수 없다고 지적했습니다.

[원문 보기](https://gigazine.net/news/20261019-ai-benchmark-mapping/) | 출처: Gigazine