# AI에 책 완성도를 평가하게 했을 때, 점수 덧셈 자체에 오류가 있었다.

> https://bookfactory.kr/board/publishing/19842
> 게시판: 출판·책 제작
> 작성자: admin
> 작성일: 2026-10-03T17:57:23.617Z

---

![見出し画像](https://assets.st-note.com/production/uploads/images/311471889/rectangle_large_type_2_93a2854c0640ec93c488328986da2508.png?width=1280)

> 
> 
> 진행 중인 책의 최종 점검을 AI(코드엑스)에 맡겨 평가받고 있습니다. 10개 항목으로 구성된 평가표에서 점수가 반환되는 방식입니다. 한 책에서 “84.4점”이라는 결과가 나왔지만, 내용을 따라가다 보니 필수적인 장이 누락되었거나, 점수 계산 자체에 오류가 있었던 것입니다. AI에 완성도 판정을 맡길 때 어떤 부분을 확인해야 하는지 정리합니다.
> 

## AI에게 “책 평가”를 맡기고 있습니다.

저는 Kindle로 책을 만들고 있는데, 원고, 만화, 그림 설명, 표지, 전자책 파일(DOCX/EPUB)이 한 번에 모인 단계에서 최종 평가를 AI에게 맡깁니다.

구체적으로는 10개 항목의 평가 기준(구성, 문단, 그림, 법률 검토, 파일 완성도 등)과 각 장별 평가표를 프롬프트에 작성하여 Codex에 원고 및 이미지를 실제로 열어 검사시키고, 점수와 코멘트를 보고서에 작성하게 하는 절차입니다.

직접 사람의 손으로만 확인하면 자잘한 표기 오류나 빠진 장을 놓치는 경우가 있습니다. 그런 부분을 짚어주니 사전 점검용으로는 편리합니다. 다만 이번에는 그 점수를 그대로 믿었다면 위험한 일이 발생할 뻔했습니다.

## 1차 시험 결과: 84.4점·불합격 1건

평균 84.4점, 10개 항목 중 불합격이 1건이었습니다.

불합격이었던 것은 “파일의 완성도” 항목입니다. 이유를 읽어보면 “참고 자료”와 “오츠츠”가 원본, DOCX 파일, EPUB 파일 모두에 존재하지 않았다는 내용이었습니다.

구성표에서는 “마무리 → 독자 선물 → 참고자료 → 후속 사항”이라는 순서를 처음부터 지정했습니다. 그럼에도 불구하고, 참고자료와 후속 사항의 2개 장은 そもそも 작성 과정 자체가 누락되어 있었고, AI 최종 점검까지 진행되지 않아 저는 이 점을 인지하지 못했습니다.

이번 최종 점검을 거치지 않았더라면, 참고 자료도 부록도 없는 책을 그대로 제출하고 있었을 것입니다.

## 우연히 발견된 빌드 스크립트 오류

누락된 두 단락을 보완한 후, 전자책 조립 빌드 스크립트(Claude Code와 함께 제작한 것)를 검토한 결과, 새로운 문제가 발견되었습니다.

이 스크립트는 맺음말(독자 선물, 참고 자료, 오츠츠)을 출력하는 순서가 코드 내에 고정된 배열로 직접 기록되어 있었습니다. 원고의 실제 배열 순서를 보지 않고, 정해진 순서대로 출력했던 것입니다. 따라서 원고에서는 “독자 선물 → 참고 자료 → 맺음말”인데, EPUB에서는 반대 순서로 되어 있었습니다.

같은 책의 워드버전 제작 스크립트 쪽은 원고를 처음부터 순서대로 읽으면서 제목을 처리하는 방식으로 만들어졌기 때문에, 여기서는 정확한 순서대로 나타났습니다. EPUB 측만 코드에 기록된 고정된 순서가 남아 있었습니다.

어처구니 난 것은, 지금까지 출판한 책들 중에는 다행히도 ‘고정된 순서’와 ‘원고 순서’가 일치했던 경우가 드물었고, 문제들이 드러나지 않았기 때문입니다. 템플릿을 재활용할 때 섞이는, 눈에 잘 띄지 않는 버그였죠. 스크립트의 순서를 원고에 맞춰 수정하고, 전자책 파일을 다시 만들고, 검사 도구로 오류가 전혀 없는지 확인했습니다.

## 두 번째 평가에서 드러난 “점수 합산 오류”

수정 사항을 반영한 후, 문제의 원인이 되었던 항목들을 중심으로 다시 평가를 받자, 이번에는 “총점 85.2점, 전체 10개 항목 합격”이 되었습니다.

이 정도면 “AI 채점, 도움이 된다”로 끝나는 이야기입니다. 하지만 재채점 보고서를 비교해 보면서 또 한 가지 발견했습니다.

첫 번째 “평점 84.4점”이라는 숫자가 각 항목의 점수를 더할 때 계산을 잘못했던 것입니다. 정확하게 더하면 83.4점이었습니다. AI가 스스로 계산한 점수 총합을 1점씩 잘못 입력했던 것이었습니다.

합격 여부에 결정적인 차이에는 해당하지 않았습니다. 단순히 “AI가 산출한 총점 자체가 덧셈부터 잘못된 경우가 있었다”는 것을 실제로 확인하고 나니, 점수 획득 방식이 달라집니다.

## AI 기반 채점 시스템을 사용할 때 주의해야 할 점

AI 채점 시스템을 활용할 때, 다음 사항에 유념하십시오.

1.  AI의 한계 인지: AI는 인간의 판단과는 다른 방식으로 평가를 수행합니다. 따라서 AI의 채점 결과는 참고 자료로 활용하고, 최종적인 판단은 인간의 몫으로 남겨두는 것이 중요합니다. 특히, 창의적인 답변이나 논리적인 흐름이 부족한 경우, AI는 정확한 평가를 내리기 어려울 수 있습니다.

2.  평가 기준의 명확성: AI는 학습 데이터에 기반하여 평가 기준을 판단합니다. 따라서 평가 기준이 명확하지 않거나, 학습 데이터에 포함되지 않은 내용에 대한 평가 결과는 신뢰하기 어려울 수 있습니다. 평가 전에 평가 기준을 명확하게 정의하고, AI에게 충분히 학습시킬 수 있도록 노력하고 있습니다.

3.  결과 검토의 중요성: AI의 채점 결과는 반드시 검토해야 합니다. AI가 놓칠 수 있는 부분이나, 오류가 포함될 가능성을 염두에 두고, 꼼꼼하게 확인하는 과정을 거쳐야 합니다. 특히, 문법 오류나 오탈자가 없는지, 내용이 논리적으로 일관성 있는지 등을 확인하는 것이 중요합니다.

4.  피드백 활용: AI의 채점 결과에 대한 피드백을 적극적으로 활용하여 AI의 성능을 개선해야 합니다. AI에게 수정된 답변을 다시 학습시키거나, 평가 기준을 조정하여 AI가 더 정확한 평가를 수행할 수 있도록 돕는 것이 중요합니다.

5.  다양한 관점 고려: AI는 특정 관점에 치우친 평가를 내릴 수 있습니다. 따라서 다양한 관점에서 답변을 검토하고, 균형 잡힌 시각으로 평가 결과를 해석해야 합니다.

이러한 점들을 고려하여 AI 기반 채점 시스템을 활용한다면, 더욱 효과적이고 정확한 평가를 수행할 수 있을 것입니다.

이 사안 이후, AI에 완성도 판정을 요청할 때는 다음 사항을 유념하게 되었습니다.

- 전체 점수만 보지 말고, 각 항목의 점수와 감점 이유까지 꼼꼼히 확인하세요.
- 合格이라고 해도, 모든 지적 사항은 완전히 삭제해야 하며, 점수가 좋더라도 꼼꼼함은 꼼꼼함이어야 합니다.
- 숫자는 검산한다. 항목의 점수를 직접 더해서 종합 점수와 일치하는지 확인한다.
- 파일 구성(장 번호 및 권말 순서)은 AI 점수와 별도로, 실제 물품을 열어 직접 확인하는 것을 의미합니다.
- 마지막으로 직접 통상 읽기를 하고, AI 점수는 하위 점수를 의미하며 합격 판정은 아니다.

AI에게 채점받는 것을 자체적으로 하지 않았습니다. 인간만으로는 놓칠 수 있는 부분을 잡아줄 수 있다는 사실이기 때문입니다. 다만, 돌아온 점수를 ‘결론’으로 처리하는 것을 중단하고, 점수를 어디를 보완해야 하는지 파악하는 데 도움이 되는 지침으로 사용하도록 했습니다.

## 요약:

이번 주말에 츠키시마 료가 진행하는 ‘마법의 숲’ 숲길 탐방 프로그램에 참여하고 싶습니다. 숲길 탐방은 12월 16일(일)에 진행되며, 츠키시마 료가 숲길의 특징과 자연 생태에 대해 설명해 주실 예정입니다. 참가비는 3,000엔이며, 숲길 탐방 중에는 츠키시마 료가 준비한 간식을 제공받을 수 있습니다. 숲길 탐방 코스는 약 3km이며, 편안한 신발과 옷을 착용하는 것이 좋습니다. 숲길 탐방 프로그램에 참여하려면 12월 14일까지 신청해야 합니다. 자세한 내용은 아래 링크에서 확인하실 수 있습니다.

- 책의 최종 평가를 AI에 맡겨 필수 장의 누락을 찾아주었다.
- 한편, 전자책 파일의 순서를 결정하는 스크립트에 원고의 순서를 무시하는 버그가 있었다.
- AI가 산출한 “총점 84.4점”이라는 수치는 항목의 합이 잘못되었으며, 정확한 값은 83.4점이었다.
- AI 기반 채점은 때때로 점수 자체에 오류가 있을 수 있습니다. 단순히 총점을 매기지 않고, 감점 이유, 검토, 실물 확인, 그리고 전체 내용을 꼼꼼히 읽어보는 과정을 거쳐야 합니다.

숫자가 나오면 “그렇다고 해서 합격”으로 멈춰버리는 경향이 있습니다. 그 한 걸음 앞선 단계에서 내용 자체를 따라가는 데만 집중하고, 예방할 수 있는 사고가 있다는 이야기도 있었습니다.

## 추신: 무료 캠페인 안내

이 글의 내용과는 별개로, 만화 “만가지로わかる AI 에이전트에 介護을 맡겨”를 한정 기간 동안 무료 공개하고 있습니다. 介護에 관련된 장면에서 AI를 어떻게 활용할 수 있는지 만화로 읽을 수 있는 한 권입니다. “AI 에이전트에 맡겨” 시리즈의 1권이며, 단독으로 읽을 수 있습니다.

- 기간: 2026년 9월 12일(토) 16시 59분까지
- 가격: 기간 중에는 무료. Kindle Unlimited로도 이용 가능합니다.

AI 에이전트에게 가사노트를 맡기다

이 글이 도움이 되었다면 “좋아요”를 눌러주시면 큰 힘이 됩니다. 제 노트에서는 AI와 부업, Claude Code 활용, Kindle 출판 실천 보고서를 정기적으로 발신하고 있습니다.

다른 저서에 대해서도 궁금하신 분은 T CROSS 출판의 저자 페이지에서 모아서 보실 수 있습니다.

저자 페이지는 여기 있습니다.

**출처:** [note 원문](https://note.com/fresh_rose5953/n/n1d4c09a87a7f)

*번역: Gemma 3(.44) 초벌 + 교정 32청크*

[원문 보기](https://note.com/fresh_rose5953/n/n1d4c09a87a7f) | 출처: note.com