# VRAM 4GB용 노트북 PC에도 8B 모델을 파인튜닝할 수 있는 오픈 소스 도구 “Soup”

> https://bookfactory.kr/c/news/8855
> 게시판: 뉴스
> 작성자: tachikoma43
> 작성일: 2026-08-05T23:44:03.028Z

---

일반적인 노트북에 장착된 GPU에서도 대규모 언어 모델을 미세 조정할 수 있는 오픈 소스 도구 “Soup”가 공개되었습니다. 개발자 검증 결과, VRAM이 4GB인 GPU를 사용하여 80억 파라미터의 “Llama 3.1 8B Instruct” 모델을 미세 조정할 수 있었다고 합니다. Soup CLI — Build, expect, train, x-ray, merge, bisect, ship — one CLI https://trysoup.dev/

GitHub - MakazhanAlpamys/Soup: 대규모 언어 모델의 미세 조정은 기존 AI 모델에 추가 데이터를 학습시켜 특정 질문에 답변하기 쉽게 하거나 정해진 문체로 문서를 작성하게 하는 작업입니다. 하지만 규모가 큰 모델을 학습시키려면 많은 VRAM이 필요하기 때문에 고성능 GPU를 탑재한 PC나 클라우드 서비스를 준비하는 것이 일반적이었습니다.

수프는 학습 중에 변경하지 않는 기반 모델의 디코더 레이어를 메인 메모리에 두고, 계산에 필요한 디코더 레이어를 1층씩 VRAM으로 전송하는 “레이어 스트리밍”이라는 기술을 채택했습니다. VRAM 사용량을 줄일 수 있기 때문에, 기존에는 메모리 부족으로 인해 어려웠던 노트북용 GPU에서도 8B 모델을 파인튜닝할 수 있는 가능성이 있다는 것입니다. 실제로 개발자는 VRAM 4GB의 GeForce RTX 3050 Laptop GPU를 사용하여 Meta의 “Llama 3.1 8B Instruct”를 NF4 형식으로 양자화하고, LoRA로 파인튜닝하는 데 성공했습니다. 1회에 처리하는 문서의 길이가 512 토큰, 배치 사이즈 1의 조건에서는 피크 시 VRAM 사용량이 3.32GB, 처리 속도가 초당 119.6 토큰이었다고 보고되었습니다. 같은 NF4 형식의 모델 전체를 GPU 상에 유지했을 경우와 계산 결과가 비트 단위로 일치하는 것을 확인한 것으로 나타났습니다.

물론, VRAM 용량이 부족한 GPU에서 실행하는 경우 CPU의 메인 메모리 등을 함께 사용하여 모델 전체를 GPU의 VRAM에 상주시키는 방법보다 학습 시간이 길어집니다. 어떤 설정에서도 작동하는 것은 아니며, 한 번에 처리하는 문서의 길이 또는 배치 크기에 따라 VRAM이 부족해질 가능성도 있습니다. 

Soup는 원래 용도에 맞는 학습 데이터를 지정하여 명령을 실행하는 것만으로 파인튜닝을 시작할 수 있는 명령줄 도구이며, 버전 0.72 업데이트를 통해 레이어 스트리밍을 지원하는 형태입니다. 도구 전체로는 대규모 언어 모델의 파인튜닝 작업을扱、GPU의 検出調整自動化、複雑学習環境一組立手間減、学習対話利用実行環境合形式変換対応特徴。 Soup의 레이어 스트리밍 기능은 기사 작성 시점 기준으로 베타 버전입니다. 개발자는 검증에 사용한 조건과 결과를 GitHub에서 공개하고 있으며, 실패 사례나 오류와 밝혀진 전제, 측정 후에 채택되지 않은 숫자까지 포함한 완전한 측정 기록을 확인할 수 있습니다.

[원문 보기](https://gigazine.net/news/20260806-soup-fine-tune-llm/) | 출처: Gigazine