목차
- 새로운 모델로 전환하기 전에 | 평소 주문 5건으로 비교하여 현장 회귀 검사를 실시
- ■ 이 기사로 할 수 있는 것
- 준비물
먼저, 이 기획을 성공적으로 수행하기 위해 다음 물품들이 필요합니다.
* **도서:** 『별의 정원』
* **필기도구:** 펜, 노트, 지우개 등
* **기타:** 참가비 1,000원
- 왜 “평소 주문 5건”인지 물어보시는 걸까요?
- ■ 공개된 숫자로는 결정할 수 없는 이유
- 너무 많으면 오래가지 못한다
- 한 번으로 단정 짓지 마세요.
- 단계 1: 요청 5개를 선택하세요.
- 단계 2: 조건을 일치시키기
- 단계 3: 모델을 지정하여 실행합니다.
새로운 모델로 전환하기 전에 | 평소 주문 5건으로 비교하는 현장 회귀 검사
새로운 모델이 출시될 때마다 “빠르다”, “저렴하다”라는 정보가 유출된다. 2026년 9월 28일에 공개된 Claude Sonnet 5.5는 공식 안내에 따라 Sonnet 5보다 30% 이상 빠르며, 토큰 단가는 동일하게 유지된다.
단지 그것은 평균적인 이야기일 뿐이며, 자신이 평소에 의뢰하는 작업에서 동일한 결과를 얻을 수 있을지는 또 다릅니다. 지시서 작성 방식과의 조화나, 긴 작업에서 지속하는 방식의 차이 등도 있을 수 있습니다. 전환한 후 “이전이 더 좋았던 것 같다”라고 말하더라도, 비교할 만한 자료가 남아있지 않다면 판단할 수 없습니다.
이 글에서는 모델을 전환하기 전에 평소 요청 5개만 실행하여 비교하는 방법을 정리합니다. 벤치마크를 읽는 대신 자신의 작업으로 확인하기 위한 절차입니다. Claude Code를 예로 들었지만 이 방법은 다른 툴에도 적용 가능합니다.
■ 이 기사로 할 수 있는 것
- 평가에 사용할 “일상적인 요청” 5가지를 골라보겠습니다.
- 구 모델과 신 모델에 동일 조건으로 동일 요청을 전달하도록 하십시오.
- 4가지 관점에서 결과를 기록하고, 사전에 설정한 기준에 따라 전환을 판단한다.
- 스위치를 변경한 후에도 이전 모델로 되돌릴 수 있도록 설정해 두는 것이 좋습니다.
## 준비물
* 아이패드 (iPad): 1세대
* 유니버셜 케이스 (Universal Case): 아이패드 (iPad) 1세대 전용
* 유선 연결 케이블 (USB-C to Lightning Cable): 1m
* 노트 필름: 3장
* 펜: 1개 (필요에 따라 추가 구매)
* 마우스: 1개 (선택 사항)
* SD 카드: 64GB (필요에 따라 추가 구매)
* 파워 어댑터: 아이패드 (iPad) 전용
* 휴대용 케이스 (Portable Case): 아이패드 (iPad) 1세대 전용 (선택 사항)
* 보조 배터리 (Power Bank): (선택 사항)
- 클로드 코드(Claude Code) 등 모델을 지정하여 실행할 수 있는 도구
- 일상적으로 사용하는 리포지토리(Git으로 관리되는 것)
- 표 계산 소프트웨어 또는 텍스트 파일(기록용)
왜 “평소 주문 5개”인지 묻는 걸까요
공개된 숫자로는 판단할 수 없는 이유
공개되는 벤치마크는 정해진 과제에서 얻은 성적입니다. 자신의 리포지토리, 지시서, 요청 방식에 따른 성적이 아닙니다. 특히 CLAUDE.md와 같은 지시서는 이전 모델의 습성을 반영하여 추가적으로 작성된 것입니다. 모델이 바뀌면 효과가 없던 문장이 효과가 없거나, 반대로 불필요하게 될 수 있습니다.
■ 너무 많으면 오래가지 못한다
정확한 평가를 위해 수십 개의 과제를 준비하면 모델이 나올 때마다 하는 것이 귀찮아져 결국 중단하게 됩니다. 5개로 줄면 각 과제를 10분으로 잡고 두 개의 모델로 총 2시간 조금 넘게 소요되며, 매번 같은 5개를 사용하면 이전 기록과 비교할 수 있습니다.
■ 한 번에 결정하지 마세요.
오늘의 팁은 ‘한 번에 결정하지 마세요’입니다.
우리는 종종 여러 가지 선택지 중에서 가장 좋은 것을 고르려고 애쓰지만, 너무 많은 정보를 한꺼번에 처리하려고 하면 오히려 판단력이 흐려질 수 있습니다.
가령, 새로운 프로젝트를 시작할 때, 모든 세부 사항을 처음부터 완벽하게 정의하려고 하지 마세요. 핵심 목표를 설정하고, 우선순위를 정한 다음, 초기 단계에서는 유연하게 접근하는 것이 좋습니다.
또 다른 예로, 어떤 책을 읽을지 고민할 때, 모든 서점의 모든 책을 한 번에 살펴볼 필요는 없습니다. 관심 있는 분야나 작가를 중심으로 몇 권을 골라 읽어보고, 그 중에서 더 끌리는 책을 선택하는 것이 효율적입니다.
결정은 때로는 시간이 지남에 따라 변화할 수 있습니다. 중요한 것은 너무 조급해하지 않고, 충분한 시간을 가지고 신중하게 고려하는 것입니다.
오늘부터 ‘한 번에 결정하지 마세요’라는 팁을 기억하고, 더 나은 판단력을 통해 성공적인 결과를 만들어 보세요.
AI의 출력은 동일한 요청이라도 매번 조금씩 다릅니다. 결과가 좋지 않다고 해서 해당 모델이 쓸모없다고 단정할 수 없으며, 한 번 잘 진행되었다고 해서 완전히 안심할 수도 없습니다. 차이가 미미한 경우에만 동일한 요청을 다시 한번씩 실행합니다.
단계 1: 요청 5개를 선택하세요.
다음 5가지 항목 중에서 하나를 선택합니다. 최근 실제로 주문한 작업에서 선택하는 것이 가장 확실합니다.
- 가장 자주 요청하는 작업(예: 소규모 버그 수정)
- 실패할 경우 발생할 수 있는 작업(예: 데이터 형식을 변경하는 수정 작업)
- 지침서의 규칙 준수를 강력히 요구하는 작업(예: 명명 규칙 및 디렉토리 구성 준수를 포함한 추가 작업)
- 장기간 걸리는 작업(예: 여러 파일에 걸쳐 기능 추가)
- 코드 작성 없이 진행하는 작업(예: 조사, 검토, 글 초안 작성)
각각의 요청 문서는 텍스트 파일에 저장합니다. 나중에 그대로 붙여넣을 것이므로 “지난 내용으로 계속”과 같은 대화 흐름에 의존하는 방식은 수정하겠습니다. 각 요청에는 성공 기준을 1~2줄로 명시합니다 (예: 시험 통과, 지정된 파일만 변경).
단계 2: 조건을 일치시키기
비교하고 싶은 것은 모델의 차이점뿐이므로, 나머지 요소는 고정합니다.
- 각 요청마다 해당 작업을 시작하기 전의 커밋을 출발점으로 기록한다. 이미 완료된 작업(커밋)을 선택한 경우에는 해당 작업이 포함된 바로 이전 커밋이다.
- 모델마다, 요청마다 동일한 출발점부터 브랜치를 갈라 나눈다.
- 브랜치를 전환하기 전에 해당 요청으로 인해 생성된 변경 사항은 커밋해 두십시오.
- 지시서(CLAUDE.md 등)는 모두 동일한 내용으로 유지합니다.
- 요청은 저장된 파일에서 한 글자 한 글자를 동일하게 복사하여 붙여넣어 주세요.
- 각 본마다 새로운 대화로 시작하세요.
- 중간에 구조보트를 꺼내지 않고, 만일 꺼내든 경우에는 횟수를 기록한다.
단계 3: 모델을 지정하여 실행합니다.
클로이드 코드에서는 실행 시 모델을 지정할 수 있습니다.
대화 중간에 전환하려면 /model을 사용합니다. 인수를 전달하지 않고 실행하면 선택 화면이 열립니다. 작성 시점의 문서에서는 선택 화면에서 Enter를 누르면 기본 모델로 저장되고, 's'를 누르면 해당 대화만 전환됩니다. /model 모델 이름과 직접 입력하는 경우도 Enter와 마찬가지로 기본으로 저장됩니다. 비교할 때는 기본 설정을 변경하지 않는 것이 안전하므로, 실행 시 --model 또는 's'로 전환하는 것을 사용합니다.
■ 별칭 대신 공식 명칭으로 지정합니다.
소네트나 오퍼스 같은 별명은 해당 시점에 추천되는 모델을 의미합니다. 즉, 어느 날을 기준으로 내부 내용이 변경됩니다. 비교할 때는 claude-sonnet-5-5와 같은 공식 모델명을 사용하여 지정해야 합니다. 이전 모델의 공식 명칭은 /model 선택 화면 또는 이용 중인 서비스의 모델 목록에서 확인하실 수 있습니다.
별칭이 어떤 모델을 지칭하는지는 이용 경로(Anthropic과의 직접 계약인지, 클라우드 사업자 경로인지)에 따라 다릅니다. 문서 매핑표를 한 번 살펴보시면 “갑자기 바뀌었다고 생각했는데 실제로는 바뀌지 않았던” 상황을 방지할 수 있습니다.
단계 4: 4가지 관점에서 기록한다
한 권이 끝나면 다음 4가지를 기록합니다.
- 성공 조건 충족 여부 (○/×)
- 수정 및 추가 지시가 몇 번 필요했는지
- 시작부터 완료까지 소요 시간 (분)
- 사용량(툴이 표시하는 토큰 수 또는 비용. 보이지 않는 경우 해당 없음)
기록용 제목은 이것으로 충분합니다.
메모란에는 숫자로 표현할 수 없는 차이점을 기록합니다. “범위를 벗어난 파일을 다뤘다”, “확인 질문이 늘었다”, “보고서가 길어졌다” 등의 내용이 해당됩니다. 또한, 지침서의 어떤 규칙이 지켜지지 않았는지도 여기에 기록합니다.
단계 5: 사전에 정해진 기준에 따라 판단한다.
결과를 보고 나서 기준으로 삼으면 어느 쪽에도 논리적 근거를 붙일 수 없습니다. 실행하기 전에 전환 조건을 미리 정해둡니다. 예를 들어 다음과 같은 형태입니다.
- 성공 조건을 충족한 건수가 기존 모델보다 많아야 함
- 실패 시 문제가 되는 작업(2권째)이 성공하고 있는 것
- 수정 횟수의 총 합계는 이전 모델보다 늘어나지 않은 것.
- 위 세 가지 조건을 모두 충족하는 경우, 시간 또는 사용량이 줄어들면 전환합니다.
속도나 비용은 성공 횟수가 동일하거나 더 많을 때에만 비교합니다. 빠르더라도 수정 사항이 늘어난다면 전체적으로는 더 느린 것입니다.
결과가 흩어진 때
안녕하세요.
이번에는 제가 최근 읽고 감명 깊게 본 책, 『汝、星のごとく』에 대해 이야기하고 싶습니다.
이 책은 작가 小川洋子님의 渾身의 작품으로, 저의 개인적인 삶의관에 큰 영향을 주었던 한 권입니다.
이야기는 주인공 星野 凛이, 돌아가신 어머니의 유품 정리라는 명목으로, 할머니의 집에 방문하는 것으로 시작됩니다.
린은 어머니와의 관계, 그리고 할머니와의 관계에서 다양한 갈등을 겪습니다.
그녀는 어머니의 죽음에 대해, 자신에게 할 수 있는 일이 없었는지,라는 후회감을 안고 어머니의 유품을 정리해 나갑니다.
유품 안에는 어머니가 젊을 때 쓴 편지나 일기, 그리고 사진 등이 많이 있었습니다.
린은 이러한 유품을 통해 어머니의 삶을 알게 됩니다.
어머니는 린이 어렸을 때, 병으로 돌아가셨습니다.
린은 어머니가 돌아가신 것에 대해 다양한 생각을 했습니다.
슬픔, 분노, 그리고 후회.
그녀는 어머니가 돌아가신 것에 대해, 자신에게 할 수 있는 일이 없었는지,라는 후회감을 안고 어머니의 유품을 정리해 나갑니다.
유품 안에는 어머니가 젊을 때 쓴 편지나 일기, 그리고 사진 등이 많이 있었습니다.
린은 이러한 유품을 통해 어머니의 삶을 알게 됩니다.
어머니는 린이 어렸을 때, 병으로 돌아가셨습니다.
린은 어머니가 돌아가신 것에 대해 다양한 생각을 했습니다.
린은 할머니와의 관계에서도 다양한 문제를 겪습니다.
할머니는 린의 어머니를 잃은 슬픔을 린에게 쏟아부었습니다.
린은 할머니의 말에 상처받고, 분노를 느꼈습니다.
하지만 린은 할머니의 말 속에 할머니의 슬픔을 이해하려는 마음이 있다는 것을 깨닫습니다.
린은 할머니에게 자신의 마음을 전했습니다.
그리고 린은 할머니와의 관계를 회복하는 데 성공했습니다.
이 이야기を通して, 저는 가족의 絆의 중요성, 그리고 과거와의 관계를 어떻게 맺을지에 대해 깊이 생각하게 되었습니다.
특히, 『汝、星のごとく』에서 린이 어머니의 유품을 정리하는 과정에서 어머니의 삶을 알게 되는 것의 중요성을 깨달았습니다.
린은 어머니의 유품을 통해 어머니가 젊을 때 다양한 경험을 해왔다는 것을 알게 됩니다.
어머니는 린이 어렸을 때, 병으로 돌아가셨습니다.
5개 중 1개만 문제가 되는 결과가 나올 수도 있습니다. 그 1개에 대해 다시 한 번씩 재생합니다. 그래도 신모델만 실패한다면, 모델 자체보다는 지침서와의 호환성을 의심해 봅니다. 메모란에 적은 “규칙을 따르지 않은” 내용을 확인하고, 해당 규칙의 표현을 바로잡은 후, 그 1개만 다시 실행합니다.
지시서를 수정하고 해결한 경우 전환 시점에 지시서를 함께 업데이트합니다. 수정이 불가능한 경우 해당 작업 유형만 기존 모델을 계속 사용하도록 분리할 수 있습니다.
단계 6: 되돌릴 수 있도록 준비해 두십시오.
모델을 전환한 후 문제점을 발견할 수도 있으므로, 이전 모델로 복원하는 방법을 안내합니다.
- 기존 모델의 공식 명칭을 기록해 두십시오.
- 설정 파일에서 고정할 경우에는 ~/.claude/settings.json의 model 필드에 공식 명칭을 입력하십시오.
돌려놓을 때는 이전에 기록해둔 구형 모델의 공식 명칭으로 변경합니다.
- 비교에 사용된 5개의 요청문과 기록은 리포지토리 외에 저장하거나, 별도의 디렉토리에 보관한다. 다음 모델이 출시될 때, 동일한 5개를 그대로 사용한다.
- 비교용 브랜치는 판단이 끝난 후 삭제합니다.
2행에 남아 있는 비교 분기를 확인하고, 3행에 삭제할 브랜치 이름을 나열합니다.
구형 모델은 결국 제공이 종료됩니다. “롤백”은 당분간 논의될 문제이며, 다음 전환까지의 안전장치로 생각하시면 됩니다.
하지 않기로 결심하는 것
- 공개 벤치마크 순위만으로 결정하지 마십시오.
- SNS의 평판을 보고 서둘러 전환하지 않는다. 전환은 5본을 먼저 흘려보내도 늦지 않다.
- 5개의 부품을 신모델에 유리하도록 교체한다.
- 한 번의 실패로 결론을 내리지 마세요.
- 기록을 남기지 않고 “왠지 좀 나아진 것 같아”로 끝내지 마십시오.
확인 범위
손네트 5.5의 공개일, 속도, 단가는 Anthropic의 공식 페이지(2026년 9월 28일 공개)에 기재된 내용에 따릅니다. Claude Code의 모델 지정 방법은 작성 시점(2026년 10월)의 공식 문서를 확인하여 작성되었으며, 이 글은 비교 절차를 정리한 것으로, 특정 모델들을 실제로 비교한 결과는 포함되어 있지 않습니다.
다음 회차 검토
- 평소에 5개의 요청 문구가 저장되어 있습니다.
- 전환 조건을 실행하기 전에 제가 적어놓은 것
- 각 요청마다 동일한 출발점 커밋에서 브랜치를 생성했습니다.
- 공식 모델명으로 지정해 주십시오.
- 4가지 관점과 메모를 기록했다.
- 기존 모델의 명칭을 누락했습니다.
출처: note 원문
번역: Gemma 3(.44) 초벌 + 교정 67청크
원문 보기 | 출처: note.com