# 동일한 문제를 해결하더라도 AI 에 따라 코드 증가량이 크게 달라지는 것을 보여주는 AI 모델 비교 벤치마크 '파르시모니'가 등장했습니다.

> https://bookfactory.kr/board/news/23321
> 게시판: 뉴스
> 작성자: tachikoma43
> 작성일: 2026-10-23T05:20:02.918Z

---

AI 가 코드를 수정할 때 추가한 코드와 제거한 코드의 차이를 측정하는 오픈소스 벤치마크 'Parsimony' 가 공개되었습니다. 기존 벤치마크에서 중점적으로 다루어졌던 문제 해결률과 비용에 더해, 코드의 증가량을 통해 AI 모델을 비교할 수 있는 것이 특징입니다. Parsimony: which AI coding agent changes the least code? https://parsimony.lasu.dev/

AI 기반 프로그래밍에서는 AI 가 문제를 얼마나 정확하게 해결할 수 있는지가 중요한 평가 기준이 됩니다. 반면, AI 가 문제를 해결하더라도 불필요하게 복잡한 처리나 과도한 코드를 추가할 수 있습니다. 코드가 과도하게 커지면 코드 검토 및 수정에 시간이 많이 소요되어 장기적인 소프트웨어 유지보수가 어려워집니다. Parsimony 는 AI 가 추가한 코드의 양을 수치화함으로써 기존 벤치마크에서는 파악하기 어려웠던 차이를 비교할 수 있도록 개발되었습니다. Parsimony 의 측정에서는 기존 벤치마크에서 공개된 AI 수정 데이터를 분석하여 수정 전후 상태를 파악하고, 추가된 코드와 삭제된 코드의 양을 조사합니다. 코드 양을 측정할 때는 단순한 줄 수 대신 '코딩 유닛(coding unit)'이라는 단위를 사용합니다. 코딩 유닛은 조건 분기, 함수 호출, 변수명, 숫자 등의 문법 요소를 세어낸 것입니다. 줄바꿈이나 공백, 주석 등은 계산에 포함되지 않으므로 여러 줄의 코드를 한 줄로 압축하는 것만으로는 평가가 개선되지 않습니다. 예를 들어, 다음 이미지는 좌우 양쪽이 동일한 유닛 수로 평가됩니다. 또한, 테스트용 코드, 설명 문서, 자동 생성된 파일 등은 측정 대상에서 제외됩니다.

또한 추가된 유닛 수에서 제거된 유닛 수를 뺀 값이 음수가 될 수도 있으므로, 기존 처리를 간결하게 재작성할 경우에도 음수 값이 발생할 수 있습니다. 아래 그림의 경우, 수합을 구하는 반복 처리가 Python 의 표준 기능인 'sum'으로 대체되었으나, 변경 전 코드에서 13 개 유닛이 제거되고 3 개 유닛이 추가되어 순차감 10 개 유닛의 절감으로 이어졌습니다.

다음 이미지는 Parsimony 를 활용한 AI 모델 비교 결과입니다. 가로축은 동일한 과제를 해결한 다른 AI 모델과 비교했을 때의 코드 증가량이며, 왼쪽일수록 추가된 코드가 적음을 나타냅니다. 세로축은 AI 평가 사이트 'Artificial Analysis' 가 산출한 AI 모델의 종합 성능을 나타내는 지표인 'Intelligence Index'이며, 위일수록 더 높은 평가를 받음을 의미합니다. 비교 결과를 보면, 지능 지수가 높은 AI 모델이라도 코드 증가량에 큰 차이가 있음을 알 수 있습니다. 예를 들어 Claude Opus 5.5(high) 의 지능 지수는 약 54 로, 코드 증가량은 다른 모델의 약 1.1 배였습니다. 반면 GPT-6.1 Sol(high) 및 Codex 의 지능 지수는 약 50 으로, 코드 증가량은 약 0.7 배에 그쳤습니다.

또한, 코드의 양이 적다고 해서 반드시 품질이 높다는 것은 보장되지 않는 점에 유의해야 한다는 것이 지적되었습니다. 지나치게 짧은 코드는 처리 내용을 이해하기 어려워질 수 있으며, Parsimony 의 개발자는 코드의 양만으로 가독성이나 설계의 우수성을 평가할 수 없다고 설명했습니다. Parsimony 의 소스 코드와 측정 데이터는 GitHub 에서 공개되어 있으며, 공개된 데이터를 사용하여 측정 결과를 재현할 수도 있습니다. 개발자는 향후 더 많은 AI 모델을 비교할 수 있도록 새로운 모델의 수정 데이터나 평가 방법에 대한 의견을 모으고 있다는 것입니다.

[원문 보기](https://gigazine.net/news/20261020-parsimony/) | 출처: Gigazine