# 무료로 7종류의 초소형 AI 모델을 브라우저에서 실행 가능한 “MicroLLM lab”, WebGPU로 기기의 GPU를 활용

> https://bookfactory.kr/board/news/21556
> 게시판: 뉴스
> 작성자: tachikoma43
> 작성일: 2026-10-13T23:04:06.950Z

---

Hugging Face의 “SmolLM2” 및 OpenAI의 “GPT-2” 등 7종류의 소형 AI 모델을 브라우저에서 실행할 수 있는 무료 웹 애플리케이션 “MicroLLM lab”이 공개되었습니다. 자신의 PC나 스마트폰으로 모델의 답변과 생성 속도를 비교하고, 소형 AI를 사용하는 경우 모델 선택에 활용할 수 있습니다. MicroLLM lab — tiny LLMs, Q4, in your browser https://stateofutopia.com/experiments/microllmlab/ GitHub - robss2020/microllm-lab: Tiny LLMs, Q4, in the browser. WebGPU lab 영감을 받은 yangqi0/petitgpt. https://github.com/robss2020/microllm-lab 먼저 MicroLLM lab에 접속합니다. MicroLLM lab를 사용하기 위해 별도의 소프트웨어 설치나 계정 등록, API 키 획득은 필요하지 않습니다.

아래로 스크롤하여 모델 목록의 오른쪽 상단에 있는 “Load all models”를 클릭합니다. 로드 가능한 모델은 “PetitGPT research-v1”, “SmolLM2 135M Instruct”, “L20-Edu 135M”, “SmolLM2 360M Instruct”, “MiniMind2 104M”, “MiniMind2 Small 26M”, “GPT-2 124M (nanoGPT-shaped)”의 7종류입니다. 각 모델의 파라미터 수는 약 2600만 ~ 3억 6200만입니다.

7종류의 모델의 가중치 데이터가 순차적으로 다운로드되어 브라우저 내의 데이터베이스 “IndexedDB”에 저장됩니다. 데이터는 가중치를 4비트로 표현하는 “Q4 양자화”로 용량이 압축되어 있으며, 각 가중치 파일은 약 15 ~ 216MB입니다. 로딩 중에는 진행률과 남은 시간이 표시되며, 완료된 모델에는 “Loaded”가 표시됩니다.

모든 모델의 로딩이 완료되면, 다음으로 채팅에 사용할 모델을 선택합니다. 이번에는 “SmolLM2 135M Instruct”를 클릭합니다.

개발자의 로브 氏에 따르면, 채팅에 입력하는 프롬프트 등의 사용자 데이터는 외부로 전송되지 않고, 端末 내에서만 처리되고 있다고 합니다. 외부 AI 서비스에 처리 업무를 위탁하지 않기 때문에 API 이용 요금이 없습니다.  더 아래로 스크롤하여 “Chat” 입력란에 질문이나 지시를 입력합니다. 이번에는 “금요일 마감까지 업데이트된 보고서를 보내줘. 늦어지면 알려줘”라는 요청 사항을 짧은 2문장으로 작성된 정중한 업무 이메일로 변환하도록 영어로 지시했습니다. 입력 후 “Generate”를 클릭합니다.

문서 생성에는 브라우저에서 터미널 GPU를 사용하여 계산하는 API “WebGPU”가 사용되었고, WebGPU가 사용되지 않는 환경에서는 WebAssembly나 JavaScript를 사용하여 CPU에서 처리됩니다. 잠시 기다리니, 보고서 업데이트나 마감 기한에 대한 영어 문장이 생성되었습니다. 하지만 출력 제한은 초기 설정대로 64 토큰으로 되어 있어 문장 중간에서 생성이 멈춰버렸습니다. 화면 오른쪽의 “tok/s”는 1초당 생성한 토큰 수를 나타내며, 생성 속도는 매초 26.9 토큰이었습니다.

벤치마크 기능을 사용하려면 채팅 입력란 아래에 있는 “Benchmarks”를 클릭하세요.

“모든 로드된 모델에서 런 스위트 실행”을 클릭하면, 읽어들이기 완료된 모델을 모아서 측정할 수 있습니다. 이 측정에서는 답변에 지정된 단어 또는 숫자가 포함되어 있는지 등으로 합불을 판정하고, 처리 시간도 기록됩니다. 단, 문장의 질을 종합적으로 평가하는 것은 아닙니다.

측정을 시작하면, 왼쪽의 모델부터 순차적으로 테스트가 진행되며, 진행 중인 테스트 및 합격한 항목 수가 표시됩니다.

측정이 끝나면 비교 결과가 자동으로 표시되었습니다. 테스트의 합격률, 평균 생성 속도, 각 모델의 전체 테스트 소요 시간을 비교할 수 있으며, Windows 버전 Firefox 157.0으로 측정한 결과는 다음과 같은 느낌입니다.

아래로 스크롤하면, 측정값을 모은 증서를 만드는 기능이 있었습니다. 측정한 모델의 결과를 집계한 합격률, 최고 생성 속도, 측정 시간 총합 등을 담은 이미지를 PNG 형식으로 저장할 수 있습니다.

자신만의 과제에서 모델을 측정하려면, 페이지 하단의 “Custom eval”을 클릭합니다.

모델에 제공하는 프롬프트와 답변의 합불을 판정하는 조건을 JavaScript로 설정할 수 있습니다. 기본 입력 내용을 변경함으로써, 실제로 사용하고 싶은 처리 방식에 맞춰 모델의 답변을 검증할 수 있습니다.

로브 氏は、문의 분류나 스팸 메일 판별과 같은 AI 기능을 端末 내에서 실행하는 앱 개발 시, MicroLLM lab을 사용하여 모델의 정확성과 속도를 비교할 수 있다고 설명하고 있습니다.

[원문 보기](https://gigazine.net/news/20261013-microllm-lab-browser-webgpu/) | 출처: Gigazine