AI를 일상 업무에 활용하기 시작하면, 가장 먼저 궁금한 것은 “어떤 모델이 가장 똑똑한가”이다. Claude, ChatGPT, Codex, 로컬 LLM 중 어떤 모델이 가장 뛰어난 성능을 보이는지 비교하게 된다.
저도 처음에는 그랬어요.
하지만 AI를 질문 상대가 아닌, 실제로 일을 처리하는 “사원”으로서 움직이기 시작했을 때, 완전히 다른 문제가 나타났다.
성능이 아니다. 연비였다.
맥스 20x는 사용 방법에 따라 부족해질 수 있습니다.
저는 YUNARI라는 자율형 AI 기업 시스템을 만들고 있습니다. 하나의 AI에 모든 것을 맡기는 대신, Claude / Claude Code / ChatGPT / Codex / 로컬 LLM / Python·PowerShell을 업무의 종류에 따라 분배하는 시스템입니다.
목표는 “AI로 놀기”가 아니다. 실제로 매출을 내고, AI 자체의 운영 비용을 회수하며, 인간이 매번 지시하지 않아도 회사로서 움직이는 단계까지 나아가는 것이다. 그것이 목표다.
그러므로 클루드도 맥스 20을 사용하고 있었다. 여유가 있을 거라고 생각했다.
그러나 자율 작동에 가까워질수록 주간 이용량 감소 속도가 더 빠르게 되었다.
그러다가 하나의 제안이 나왔다.
클로이드의 프레임워크가 너무 엄격해졌을 때, ChatGPT Work로 업무를 옮기는 것이 좋겠지요?
이 기능은 충분히 가능해 보였습니다. ChatGPT Work에서는 동일한 PC의 파일을 읽고 쓰고 로컬 환경을 조작할 수 있습니다.
즉, PC와 파일들을 ‘신체’로, Claude와 ChatGPT는 ‘뇌’처럼 교체 가능한 ‘두뇌’로 만들 수 있다.
클로이드의 연료가 부족하면 챗지피티로 전환되고, 챗지피티가 까다로워지면 클로이드로 전환됩니다. 단순 처리는 로컬에서 수행되는 것으로 보이며, 상당히 강력한 설계로 보였습니다.
그러나 실제로 챗지피티 워크를 실행해 보면서 이렇게 생각했다.
저기. 여기도 꽤 많은 공간을 사용하고 있네요.
감각으로 말해도 소용없다. 측정하기로 결정했다.
같은 자료를 전달하고, 같은 일을 시키고, 같은 기준으로 평가한다.
비교는 조건을 맞추지 않으면 의미가 없다. 양자 모두 똑같은 것을 전달했다.
업무 내용은 시스템 내부의 3 파일을 읽어 현재 AI 분배 상태를 감사하고 JSON 파일을 1개 생성한다.
정리된 항목 대상 폴더/읽는 파일 3부(고정)/확인 항목/출력 형식/합격 조건 10개 항목
다음 사항은 금지합니다: 웹 검색, 타 AI 문의, 지정 외 파일 읽기, 반복적인 재시도, 다른 작업 실행. 1차 작업 완료 시 즉시 중단합니다.
즉, “동일한 문제지를 배포하고 동일한 채점 기준으로 답안에 점수를 매기는” 시험이다.
결과: 속도와 품질 모두 거의 완벽하게 균형을 이루었다.
ChatGPT Work: 16.5초 / 정답 10회 / 100% / 오류 0 / 재시도 0 / 수정 0
클로이드 코웍스: 16.587초 / 정답 10/10 (100%) / 오류 0 / 재시도 0 / 수정 0
차이는 0.087초입니다.
이 퀘스트는 “어느 것을 사용해도 괜찮다”로 끝나는 이야기였다.
다행히도, 사용량을 확인하는 순간 상황이 완전히 달라졌다.
출처: note 원문
번역: Gemma 3(.44) 초벌 + 교정 19청크
원문 보기 | 출처: note.com