현지 시간 2026년 10월 15일, NVIDIA가 일상적인 AI 에이전트의 작업을 로컬에서 실행하도록 설계된 “Nemotron 3.5 Bolt 74B-A9B 24GB”를 공개했습니다. MoE를 채택했으며, Mamba와 Transformer라는 두 가지 모델 구조를 결합한 AI 모델로, 로컬에서 실행하면서 다른 애플리케이션을 동시에 동작시킬 수 있을 정도로 가볍습니다. NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB - NVIDIA Nemotron https://research.nvidia.com/labs/nemotron/Nemotron-3.5-Bolt-24GB/
“Nemotron 3.5 Bolt 74B-A9B 24GB”는 매초 80 토큰 이상의 디코딩 속도를 달성하면서, 능력을 최대한 끌어올리도록 설계된 AI 모델입니다. 보다 대규모의 “Nemotron 3.5 Super VL”에 모델 구조를 정리 및 축소하는 “구조화 압축”을 적용하고, 더 나아가 네트워크를 2비트로 대폭 양자화함으로써, 처음부터 학습시켜 4비트로 양자화한 동등 크기의 AI 모델을 능가하는 성능을 달성했다는 것을 보여주는 AI 모델로 NVIDIA는 설명하고 있습니다. NVIDIA에 따르면, 동일 크기의 경우, 소규모 AI 모델을 처음부터 훈련하고 구축하는 것보다 대규모 AI 모델을 압축하여 소규모 모델을 구축하는 것이 성능상 더 우수한 결과로 나타났다고 합니다. 압축에는 “Star Elastic”라는 이름으로 불리는 기술이 사용되었으며, 총 파라미터 수가 120억 억(1200억)이고 추론 시 유효 파라미터 수가 12억 억(120억)인 부모 모델을 총 파라미터 수 74억 억(740억)이고 추론 시 유효 파라미터 수가 9억 억(90억)으로 압축했습니다. 압축 후 추가적인 후처리 학습을 수행하여 AI 모델의 능력을 최대한 끌어올리고 있다고 합니다. MoE의 전문 네트워크를 “IQ2_XXS”라는 양자화 형식으로 1 요소당 2.0625 비트로까지 압축했습니다. 또한, 양자화를 고려하여 지도 모델로부터 학습하는 양자화 대응 증류(QAD)를 사용함으로써 정확도를 회복시키고 있습니다. “Nemotron 3.5 Bolt 74B-A9B 24GB”에서는 출력 후보를 먼저 생성하고 본체 모델이 모아서 검증하는 투기적 디코딩을 가속화하기 위해 후보 생성 모델의 “LiLiCorr”을 채택했습니다. DSpark나 DFlash2와 같은 유사 기술과 비교했을 때, 후보의 채택률을 높이고 지연을 줄이는 데 성공했습니다. RTX Spark에서 “Nemotron 3.5 Bolt 74B-A9B 24GB”를 실행했을 경우의 성능을 요약한 그래프는 다음과 같습니다. AI 모델의 토큰 생성 속도를 평가하는 벤치마크인 SPEED-Bench가 수평축이고, AI 모델이 경제적으로 가치 있는 현실 세계의 지적 노동을 얼마나 정확하게 수행할 수 있는지를 평가하는 벤치마크인 GDPVal v2가 수직축입니다.
다음 그래프는 “Nemotron 3.5 Bolt 74B-A9B 24GB” 및 개방형 MoE 모델의 벤치마크 점수를 비교한 것으로, 실시된 벤치마크는 AI의 실무 수행 능력을 측정하는 GDPVal-AA-V2, 명령 조작으로 작업을 완수하는 능력을 측정하는 Terminal-Bench 2.1, 은행 업무에 있어서 고객 응대 능력을 측정하는 Tau3 Banking, 광범위한 학문 분야의 초 난역을 툴 없이 자력으로 해결하는 능력을 측정하는 HLE(no tools), 광범위한 분야의 지식의 정확성을 측정하는 AA-Omniscience accuracy, 과학 연구에 필요한 프로그램을 작성하는 능력을 측정하는 SciCode, 대학원 수준의 과학 지식과 추론 능력을 측정하는 GPQA Diamond, 긴 자료를 읽고 정보를 결합하여 생각하면서 무리한 답변을 하지 않는지를 측정하는 AA-LCR, 모르는 것을 뜬근히 답하지 않는 능력을 측정하는 AA-Omniscience non-hallucination, AI 에이전트 기반인 OpenClaw 상에서의 실용적인 작업 능력을 측정하는 PinchBench, 외부 툴을 조합하여 사용하는 능력을 측정하는 MCP-Atlas, 웹 상에서 찾기 어려운 정보를 찾아내는 능력을 측정하는 BrowseComp, 웹 화면을 보고 조작하는 능력을 측정하는 WebArena(vision)입니다.
NVIDIA RTX Spark 관련 정보를 전달하는 공식 X 계정의 NVIDIA RTX Spark는 “NVIDIA Nemotron 3.5 Bolt 24GB는 손안의 기기에서 동작하는 강력한 AI 에이전트(Agent)를 가까이 해 줍니다. 총 파라미터 수가 740억 개, 추론 시의 유효 파라미터 수가 90억 개의 AI 모델로, 24GB의 메모리에 수용할 수 있습니다. 다른 앱과 동시에 동작하면서 지능과 처리 속도를 양립(両立)합니다. NVIDIA의 소형 AI 컴퓨터인 ‘RTX Spark’에 최적화(最適化)되어 있으며, 즉시 활용(活用)할 수 있습니다”라고 소개하고 있습니다.
NVIDIA Nemotron 3.5 Bolt 24GB는 강력한 현지 에이전트(Agent)를 손안에 닿도록 합니다. ⚡74B-A9B 파라미터가 24GB의 메모리에 담겨 있으며, 앱과 함께 지능과 속도를 균형(両立)합니다. RTX Spark에 최적화(最適화)되어 있으며, 다음 프로젝트에 즉시 활용(活用)할 수 있습니다.
NVIDIA의 AI 관련 정보를 전달하는 공식 X 계정 NVIDIA AI는 “이 모델은 24GB의 메모리에 들어갑니다”라며 크기의 컴팩트함을 강조했습니다.
그리고 이 하나는 24GB의 메모리에 들어갑니다.
Nemotron 3.5 Bolt 24GB ⚡️https://t.co/yPsBt9N58Apic.twitter.com/SOiBgeMMjD
한편, NVIDIA는 “Nemotron 3.5 Bolt 74B-A9B 24GB”의 기술 보고서도 공개했으며, 압축, 사후 학습, 양자화, 추론 최적화, 평가 방법 및 벤치마크 결과에 대한 상세 정보를 제공합니다.
Nemotron 3.5 Bolt 74B-A9B 24GB: A Hybrid Vision-Language Model for Local AI (PDF 파일)https://research.nvidia.com/labs/nemotron/files/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-Technical-Report.pdf
원문 보기 | 출처: Gigazine