# 나노챗의 일본어 포크 '나노챗-지프'는 토큰라이저 학습, 사전 학습, SFT, RL, 평가, 추론을 단일 저장소로 완료하며, SentencePiece Unigram 토큰라이저, 일본어 코퍼스, 일본어 SFT/RL 데이터, 일본어 벤치마크 (CORE/ChatCORE), HuggingFace 형식 변환기를 포함합니다. > https://bookfactory.kr/board/news/26009 > 게시판: 뉴스 > 작성자: tachikoma43 > 작성일: 2026-11-04T05:42:50.645Z --- 일본어 처리 AI 모델을 처음부터 개발할 때는 학습용 데이터를 수집하는 것뿐만 아니라, 문서를 세분화하는 토큰나이저 생성, 추가 학습, 성능 평가 등 여러 단계가 필요합니다. 이러한 작업을 개별적으로 수행하는 번거로움을 줄이고, 일본어 학습 데이터와 평가 프로그램을 통합하여 활용할 수 있도록 만든 것이 'nanochat'의 일본어 포크인 'nanochat-jp'입니다. tohoku-nlp/nanochat-jp https://github.com/tohoku-nlp/nanochat-jp ◆nanochat 는 무엇인가 2025 년 10 월에 AI 연구자 Andrej Karpathy 가 공개한 'nanochat'은 AI 모델의 사전 학습부터 대화 능력 추가 학습, 추론까지를 단일 코드베이스로 통합한 프로젝트이며, nanochat-jp 는 이 nanochat 를 기반으로 일본어 전용 학습 및 평가 환경을 구축한 것입니다.たった 1 万 5000 円＆4 시간 만에 ChatGPT 와 같은 대화형 AI 를 처음부터 구축할 수 있는 오픈소스 플랫폼 'nanochat' 등장 - GIGAZINE https://gigazine.net/news/20251014-nanochat/ ◆nanochat-jp의 특징 nanochat-jp 는 기존 nanochat 에서 주로 다음 기능이 추가 및 변경되었습니다. - 일본어 문서를 처리하는 'SentencePiece Unigram' 토크나이저 - 일본어 사전 학습용 코퍼스 - 일본어教師ありファインチュー닝 (SFT)용 데이터 - 일본어 강화학습 (RL)용 데이터 - 일본어 능력을 측정하는 CORE - ChatCORE 벤치마크 - Hugging Face Transformers 형식 변환 도구◆일본어 학습 데이터 nanochat-jp 는 AI 모델에 일본어를 학습시키기 위한 문서를 Hugging Face 에서 공개하고 있으며, 사전 학습용 일본어 코퍼스 외에도 대화 능력을 습득시키기 위한 질문과 답변 예제를 사용한 SFT 데이터, 답변을 개선하기 위한 RL 데이터도 준비되어 있습니다. ◆AI 모델 학습 및 평가 시스템 모델 학습은 첨부된 'speedrun.sh'를 통해 실행되며, 토크나이저 학습, 평가, 사전 학습, SFT, 학습 보고서 생성 순서로 진행됩니다. 강화 학습도 준비되어 있으나, 표준 스크립트에서는 임의의 단계로 취급됩니다. 또한 사전 학습 모델 평가에는 'base_eval.sh', 대화 모델 평가에는 'chat_eval.sh'를 사용합니다.◆일본어 능력 평가 결과 개발자가 일본어 능력을 측정하여 공개한 벤치마크 결과에 따르면, 표준 설정으로 학습된 모델은 'Qwen3.5-0.8B'와 유사한 일본어 성능을 보였으며, nanochat-jp-v4 는 v3 과 비교하여 5 가지 지표 중 4 가지 지표에서 점수가 향상되었습니다. 일본어 생성 능력을 측정하는 YOMI-Gen 에서 41.4 에서 52.3 으로 개선되었으며, YOMI-Gen 과 PFGen 에서 Qwen3.5-2B 를 상회하는 결과를 보였습니다. 참고로 비교 대상인 Qwen3.5 시리즈는 thinking 을 비활성화한 조건으로 평가되었습니다.◆학습済み 모델 및 주변 도구 개발자는 학습된 'nanochat-jp-v4' 및 'nanochat-jp-v3' 체크포인트 외에도 Hugging Face Transformers 형식으로 변환된 SFT 모델을 공개하고 있습니다. 또한 학습된 모델을 추론 서버에서 사용할 수 있는 'nanochat-jp-vllm-plugin'도 준비되었습니다. ◆요약 nanochat-jp 는 일본어에 특화된 소규모 AI 모델을 개발하기 위한 학습 데이터와 평가 환경을 통합한 프로젝트입니다. 표준 학습에는 고성능 GPU 환경이 필요하지만, 학습된 모델과 토크나이저도 공개되어 있으며, 일본어 AI 의 메커니즘을 연구하거나 독자적인 모델의 성능을 검증하는 데 활용할 수 있습니다. [원문 보기](https://gigazine.net/news/20261102-nanochat-jp/) | 출처: Gigazine