독일 AI 스타트업 기업 Aleph Alpha는 독일 통일 기념일인 2026년 10월 3일에 새로운 언어 모델 “Kolibri”를 발표했습니다. Kolibri Has Landed: A Sovereign Open-Weight Model — Aleph Alphahttps://aleph-alpha.com/en/blog/kolibri-has-landed-a-sovereign-open-weight-model/Kolibri의 특징 중 하나로, 780억의 총 파라미터(매개변수)를 가지면서 활성 파라미터를 30억으로 억제한 효율적인 설계가 있습니다. 발표 시점에서는 영어 및 독일어에 대응하며, 최대 100만 토큰의 컨텍스트 길이를 지원한다고 합니다. 또한, 정교한 훈련 파이프라인을 통해 데이터 수집, 큐레이션, 아브레이션, 사전 학습, 사후 학습, 최종 평가에 이르기까지의 일련의 프로세스를 자동화하여 하드웨어 장애 또는 데이터 연결 문제 발생 시 수백 건의 실험과 안정적인 사전 학습을 손보지 않고 가능하도록 합니다.
예상되는 Kolibri 사용 경위는 공공행정, 산업, 항공우주와 같이 규제가 엄격하고 임무상관성 업무를 담당하는 분야이며, 특히 독일어 처리 능력, 추론, 수학, 에이전트 행동, 고객 고유의 유스케이스에 최적화된 기능에 강점을 가지고 있습니다. Kolibri는 각 토큰의 처리 시 780억의 총 파라미터 중 30억의 활성 파라미터만 사용함으로써, 모델의 능력과 배포 비용이라는 트레이드오프의 균형을 최적화합니다. 각종 오픈 모델의 영어와 독일어 처리 성능을 나타낸 그래프가 아래에 있으며, X축은 처리 속도, Y축은 벤치마크 점수를 나타내고 있습니다. 영어 및 독일어 양측에서 “동일 속도의 모델과 비교하여 가장 우수한 성능”을 확보하고 있습니다.
벤치마크 결과 Kolibri는 수학, 코딩, 그래디언딩, 장문 컨텍스트 태스크에서 Nemotron 3 Super와 같은 활성 파라미터 수 최대 4배의 모델에 뒤떨어지지 않는 성능을 보입니다.
주권 및 규정 준수에 대한 고려 사항에 따라 Aleph Alpha는 “주권”을 “모델 구축 방법”과 “고객에게 이전 방법” 양 측면에서 정의하고 있습니다. 모델 구축 방법의 경우 가중치 및 큐레이션에 대한 투명성을 확보하고 개발의 배경에 있는 의사 결정 프로세스가 시각화되도록 하며, 추론 경로를 통해 모델이 특정 답변에 도달한 경위를 설명할 수 있도록 중요하게 생각합니다. 또한 Aleph Alpha가 독자 개발한 Merlin-Arthur 프로토콜을 통해 모델의 신뢰성이 보장되므로, 맥락이 답변을 뒷받침하지 않는 경우에는 Kolibri는 답변을 보류하고 허상(hallucination)을 줄입니다. 모델은 독일에서 구축되었으며, 독일 및 핀란드 인프라에서 유럽 및 독일 법규에 따라 데이터 큐레이션부터 사전 및 사후 훈련, 그리고 모델 팩토리에서의 최적화에 이르기까지 파이프라인 전체를 외국 지배 없이 훈련하고 있다고 합니다. 이 엔드 투 엔드 파이프라인 관리 시스템이 모델의 주권을 지탱하는 기반이며, 관리 권한이 고객에게 이전됨으로써 완전한 확장의 자유도를 얻을 수 있으며, 비용과 레이턴시를 답변 품질과 트레이드오프하는 제어 가능한 추론 처리를 실현할 수 있다고 합니다.
또한 Kolibri는 바이언길러(bilingual)한 독일어-영어 토크나이저를 개발하고, 모델의 사전 학습 프로세스 전체에 유기적인 독일어 데이터를 통합하는 데 중점을 두고 있습니다. 사전 학습 토큰의 21.3%가 독일어이며 번역 사용은 최소화되어 있기 때문에, 단순히 “영어 모델이 독일어를 읽을 수 있다”는 것뿐만 아니라 설계 단계부터 바이언길러한 모델로서 기능하는 것입니다.
Kolibri는 Apache 라이선스 2.0 하에 오픈 모델로 공개되어 있으며, aleph-alpha-inference 패키지와 Kolibri vLLM 플러그인을 통해 이용 가능합니다. 컨테이너 이미지를 제공하며, pip를 통한 설치도 가능합니다. 모델은 다음 링크에서 다운로드할 수 있습니다: Aleph-Alpha/Kolibri-1 · Hugging Face https://huggingface.co/Aleph-Alpha/Kolibri-1
원문 보기 | 출처: Gigazine