# 125억의 “Qwen3.8-Flash-Next” 양자화 버전을 게이밍 PC에서 고속 로컬 실행 가능한 AI 실행 앱 “Strata”

> https://bookfactory.kr/board/news/20196
> 게시판: 뉴스
> 작성자: tachikoma43
> 작성일: 2026-10-05T23:01:34.951Z

---

최첨단 AI 모델이 오픈 모델 형태로 공개되는 사례가 늘고 있지만, 최첨단 모델은 규모가 너무 커서 로컬에서 실행하려면 데이터 센터 급의 AI 실행 인프라가 필요합니다. “Strata”는 1250억 파라미터의 Qwen3.8-Flash-Next의 양자화 버전을 비교적 쉽게 구할 수 있는 하이엔드 게이밍 PC에서 실행 가능하게 하는 앱입니다. GitHub - Niko1221/Strata: Qwen3.8-Flash-Next on any consumer hardware: one-click install for Windows / Linux. Strata 추론 엔진, OpenAI/Anthropic API on localhost, 선택적 이미지 입력. · GitHubhttps://github.com/Niko1221/StrataStrata/README.ja.md at main · Niko1221/Strata · GitHubhttps://github.com/Niko1221/Strata/blob/main/README.ja.mdStrata는 “MoE 모델 전체를 RAM에 읽어 들여, VRAM에는 사용 빈도가 높은 전문가 모델을 읽어 들임”하고 “경량 모델로 다음 토큰을 예측하는 투기적 디코딩을 사용”하는 방식으로 VRAM 용량이 적은 PC에서의 대규모 모델 실행을 지원합니다. Strata에서 Qwen3.8-Flash-Next를 실행하려면 “12GB 이상의 VRAM을 갖춘 NVIDIA 또는 AMD GPU, 32GB 이상의 RAM, 80GB 이상의 저장 공간(SSD를 추천), Windows 10/11 또는 Linux”가 필요합니다.

RAM 용량이 32GB인 경우라면 Qwen3.8-Flash-Next의 코딩 목적 외의 전문 모델을 제외하고 경량화된 “Qwen3.8-Flash-Next · GSQ-RCO Coder”만 실행 가능합니다. RAM 용량이 64GB인 경우 2비트 양자화 버전의 “IQ2_XS” 또는 3비트 양자화 버전의 “IQ3_XXS”, “IQ3_S”를 실행 가능하며, 더 많은 RAM이 있다면 정확도가 높은 양자화 버전도 실행할 수 있습니다. “NVIDIA GeForce RTX 5070(VRAM 12GB)”, “Ryzen 5 7600”, “RAM 64GB”라는 환경에서 2비트 양자화 버전의 “Q2_0”을 94 토큰/초로 실행하는 데 성공했습니다. 3비트 양자화 버전의 “IQ3_S” 또한 53 토큰/초로 작동하고 있습니다.

“AMD Radeon RX 9070 XT(VRAM 16GB)”, “Ryzen 9 3900X”, “RAM 47GB”라는 환경에서도 2비트 양자화 버전의 “Q2_0”을 60 토큰/초로 실행할 수 있었습니다.

Strata는 인터넷상에서 큰 화두가 되고 있으며, X에도 수많은 동작 보고가 게시되고 있습니다. 예를 들어, 다음 사용자는 “NVIDIA GeForce RTX 5070(VRAM 12GB)”를 탑재한 환경에서 2비트 양자화 버전의 “IQ2_XS”가 고속으로 작동하는 모습을 게시했습니다.

RTX 5070 12GB로 Qwen3.8-Flash-Next를 Strata에서 실행한 영상이 여기 있습니다 👇️ 속도가 느껴지실 거라고 생각합니다. 테스트에서는 “그래보의 최저가 순위를 스크래핑으로 데이터 수집 및 표시”라고 요청했습니다. …https://t.co/GWzSSJOLWJpic.twitter.com/zKjB51L1er

하지만, Qwen3.8-Flash-Next를 양자화하면 성능이 크게 저하될 수 있다는 보고도 있습니다. 다음 게시물에서는 2비트 양자화 버전의 “IQ2_XS”로 원주율을 출력시킨 결과, 같은 토큰을 반복적으로 출력하는 루프에 빠진 모습을 확인할 수 있습니다.

4090+64G RAM+12900+SATA SSD로 IQ2_XS를 Strata에서 돌리고 140[TPS]의 폭속으로 압도당한 직후, 다음과 같은 프롬프트를 실행하여 양자화는 본질적으로 무엇을 잃어버리는지 다시 확인한 후 PC의 전원을 껐습니다. pic.twitter.com/XOnjHvXBIw

[원문 보기](https://gigazine.net/news/20261005-strata-local-ai/) | 출처: Gigazine