[키미 K3] 완전 분석 - 클로드(Claude)를 넘어선 중국 AI, 그 기술의 모든 것

게시판: AI·머신러닝 | 작성자: admin | 작성일: 2026-08-08T03:25:02.276Z

2025년부터 2026년까지 인공지능 산업은 이전보다 훨씬 빠른 속도로 진화할 것입니다.

OpenAI, Anthropic, Google, xAI, Meta 등 세계를 대표하는 기업들이 연이어 새로운 AI 모델을 발표하면서 “어떤 AI가 가장 우수한가”라는 경쟁은 더욱 치열해졌습니다.

그 중에서도 많은 연구자와 엔지니어들이 놀란 AI가 있었습니다.

그것은 키미 K3입니다.

ChatGPT나 Gemini처럼 그렇게 유명하지 않는데, 왜 이렇게까지 화제가 되고 있는 걸까라고 생각하실 수도 있습니다.

하지만, 카미 K3는 단순히 “새로운 AI가 등장했다”는 수준의 사건이 아닙니다.

AI의 설계 철학 자체에 새로운 방향성을 제시했다는 점에서 전 세계적으로 주목을 받고 있습니다.

이전까지 세계 최고 성능의 AI는 거대한 데이터 센터 안에서 움직이는 완전히 비공개 모델이 중심이었습니다. 성능은 매우 높지만, 그 내부 구조나 학습 방법, 설계 철학을 자세히 알 수 있는 것은 아니었습니다.

한편, 카호 K3는 높은 성능을 목표로 하면서도, 개방적인 형태로 기술 정보를 공개하여 많은 연구자와 개발자가 배우고 개선하며 활용할 수 있는 환경을 제공하고 있습니다.

이는 단순한 “무료로 사용할 수 있는 AI”라는 이야기가 아닙니다.

세계 최첨단 수준의 AI 기술이, 지금까지보다 훨씬 더 많은 사람들에게 개방될 수 있다는 의미에서, AI 산업 전반에 걸쳐 큰 영향을 미치고 있습니다.

더욱 자세히 살펴본 결과, Kimi K3의 혁신성은 겉으로 보이는 성능뿐만이 아니라는 사실이 밝혀졌다.

총 파라미터 수는 약 28조 개이다.

필요한 부분만 작동하는 거대한 Mixture of Experts(MoE) 아키텍처.

100만 토큰 級의 장대한 컨텍스트.

독립적인 주의 메커니즘.

고차원적 에이전트 역량

또한, 이러한 것들을 뒷받침하는 새로운 학습 방법과 추론 기술.

단순히 개별 기술만을 놓고 보더라도 최첨단이지만, 그 기술들을 하나의 모델로 통합하고 있다는 점이 Kimi K3의 진정한 가치입니다.

바로 그 이유로 해외에서는 “차세대 AI의 설계를 고민할 때 외면할 수 없는 모델 중 하나”로 평가하는 목소리도 적지 않습니다.

하지만 일본어로 김 키3에 대해 알아봐도 많은 글들이 뉴스 소개나 간단한 성능 비교에 그치고 있습니다.

무엇이 그렇게 놀라운지

왜 그 기술이 채택된 걸까요

다른 AI와 무엇이 다른가

AI 산업 전체에 어떤 영향을 미칠 것인가?

이러한 본질적인 부분까지 심층적으로 해설하는 정보는 여전히 많지 않습니다.

이 기사에서는 Kimi K3를 단순한 새로운 AI 모델로 소개하는 것이 아니라, 하나의 최첨단 컴퓨터 시스템으로서 심층적으로 설명합니다.

공식 기술 보고서 및 공개 자료를 바탕으로 설계 철학부터 아키텍처, 학습 방법, 성능 평가, 실제 활용 사례, 그리고 향후 가능성까지 가능한 한 명확하게 정리해 나갈 것입니다.

전문 용어가 등장하는 부분도 있지만, “AI를 공부하기 시작한 지 얼마 안 된” 분들도 하나하나 꼼꼼하게 설명드리겠습니다.

한편, 이미 AI 개발에 참여하고 있거나, 논문을 읽는 데 익숙한 분들께도 깊은 감명을 드릴 수 있도록 기술적인 배경과 설계상의 노하우에 대해서도 깊이 있게 다룹니다.

이 기사의 목표는 단순히 키미 K3에 대한 지식을 늘리는 것 이상입니다.

Kimi K3 모델을 통해 인공지능의 미래 발전 방향을 이해하는 것입니다.

현재 AI 업계에서는 “더 큰 모델을 만드는 경쟁”에서 “더 효율적이고, 더 오래 생각하며, 더 자율적으로 행동할 수 있는 AI를 만드는 경쟁”으로 변화하고 있습니다.

키미 K3는 그 변화를 상징하는 모델 중 하나라고 할 수 있습니다.

이 기사를 읽을 지점에 “Kimi K3”가 무엇인지 알게 될 뿐만 아니라, AI 기술 전체의 흐름과 앞으로 수년 동안 일어날 수 있는 변화까지 예측할 수 있게 될 것입니다.

참고 문헌 및 인용 출처 본 기사는 Kimi K3에 관한 공개 정보, 공식 기술 자료, 연구 논문, 각종 벤치마크, 그리고 AI 커뮤니티에서 공개적으로 이용 가능한 정보를 바탕으로 작성되었습니다. 가능한 한 1차 정보를 참조하고, 기술적인 내용은 여러 정보원을 교차 검증한 후 기록했습니다. 참고로 AI 기술은 매우 빠른 속도로 발전하고 있으며, 모델의 성능이나 제공 형태, 평가 결과는 향후 변경될 가능성이 있습니다. 최신 정보는 각 공식 웹사이트를 참고하십시오. Moonshot AI (공식 웹사이트) https://www.moonshot.ai/ Kimi 시리즈를 개발하는 Moonshot AI의 공식 웹사이트로, 기업 개요, 제품 정보, 최신 뉴스 등을 게시합니다. Kimi Open Platform https://platform.moonshot.ai/ Kimi API 및 개발자 정보를 제공하는 공식 플랫폼입니다. Kimi K3 Technical Report Moonshot AI가 공개한 Kimi K3의 기술 보고서로, 모델 구성, 학습 방법, 아키텍처, 벤치마크 등 본 기사에서 다룬 기술 내용의 주요 참고 자료입니다. arXiv https://arxiv.org/ AI 및 기계 학습 분야의 논문을 공개하는 세계 최대 규모의 프리프린트 서버입니다. Kimi K3 관련 논문이나 Transformer, MoE, Vision Transformer 등의 기초 기술을 확인하는 데 참조합니다. Artificial Analysis https://artificialanalysis.ai/ 주요 대규모 언어 모델의 성능 비교 및 랭킹, 벤치마크 결과를 공개합니다. LMSYS Chatbot Arena https://lmarena.ai/ 실제 사용자 평가에 기반하여 AI 모델을 비교하는 플랫폼입니다. 모델 간의 실질적인 성능을 확인하는 데 참고 자료로 활용합니다. SWE-bench https://www.swebench.com/ 실제 소프트웨어 개발 작업을 통해 AI의 코딩 능력을 평가하는 벤치마크입니다. Humanity's Last Exam (HLE) 고도화된 추론 능력을 측정하기 위해 설계된 벤치마크입니다. 본 기사에서는 Kimi K3의 추론 성능을 설명하는 데 참고 자료로 사용되었습니다. GPQA 대학원 수준의 과학 분야에 대한 추론 능력을 평가하는 벤치마크입니다.

그러면 먼저 ‘Kimi K3’를 개발한 기업 “문샷 AI”를 살펴보겠습니다.

제1장 달 궤도 인공지능이란

키미 K3를 이해하기 위해서는 먼저 개발사인 Moonshot AI에 대해 알아야 합니다.

탁월한 AI 모델은 우연히 만들어지는 것이 아닙니다.

그 기업이 어떤 미래를 목표로 하고, 어떤 가치관을 가지고, 어떤 과제를 해결하려 하는지에 따라 그 사상이 그대로 AI 모델의 설계에 반영됩니다.

그녀 역시 키미 K3도 예외가 아니었다.

그 혁신적인 건축 구조와 설계 철학을 이해하기 위해서는 먼저 Moonshot AI라는 기업의 발자취를 되돌아보는 것이 필수적입니다.

중국 AI 업계에서 탄생한 새로운 도전자

문샷 AI(Moonshot AI)는 2023년에 중국 베이징에서 설립된 AI 스타트업입니다.

설립된 지 얼마 지나지 않은 젊은 기업이지만, 단기간 동안 세계 각국의 인공지능 연구자 및 개발자들로부터 주목을 받으며 빠르게 성장했습니다.

그 이유는 명확합니다.

문샷 AI는 단순한 챗봇을 만드는 것을 목적으로 하는 회사만이 아닙니다.

그들이 추구하는 것은 인간의 지적 활동 그 자체를 지원하는 “차세대 AI”의 실현입니다.

文章を書くだけでもなく、質問に答えるだけでもありません。

복잡한 문제를 해결하고, 장기간 기억을 유지하며, 여러 작업을 자율적으로 계획하고 실행할 수 있는 AI 개발을 목표로 합니다.

이 관점은 최근 AI 업계에서 빠르게 주목받고 있는 에이전트 AI라는 접근 방식과도 일치합니다.

즉, AI를 “질문에 답하는 도구”가 아닌 “자발적으로 업무를 진행하는 파트너”로서 설계하려는 것입니다.

“Moonshot”이라는 이름에 담긴 의미

회사 이름인 “Moonshot(문샷)”은 영어로 “월에 도달하는 만큼 극단적으로 어렵고 대담한 도전”을 의미하는 단어입니다.

이 단어는 1960년대, 미국의 아폴로 계획에서 “인류를 달에 보낼 수 있다는” 전례 없는 목표를 표현할 때에도 사용되었습니다.

매우 어렵지만 성공한다면 사회를 크게 변화시키는 도전

Moonshot AI가 그 이름을 선택한 이유는 그 사상에 있습니다.

그들은 기존의 AI를 조금 더 편리하게 만드는 것이 아니라 “AI 자체의 가능성을 한 단계 끌어올리는 것”을 목표로 하고 있습니다.

따라서, 키미 시리즈에서도 기존의 통념에 얽매이지 않고 새로운 아키텍처와 학습 방법을 적극적으로 도입하고 있습니다.

키미 시리즈의 시작

문샷 AI가 널리 알려지게 된 계기는 대화형 AI 서비스 Kimi입니다.

초기 버전의 kimi는 고성능 챗봇 AI로 등장했지만, 다른 회사와 크게 다른 특징이 있었습니다.

그것은 매우 긴 문장을 한 번에 이해하도록 돕습니다.

일반적인 AI는 입력 가능한 텍스트 양에 제한이 있습니다.

하지만 키미는 논문이나 기술 자료, 계약서, 소설 등 방대한 양의 텍스트를 한 번에 읽고 내용을 이해하는 것을 강점으로 삼았습니다.

이 “장문 이해”는 그 이후 키미 시리즈 전체를 상징하는 특징이 됩니다.

긴 문맥을 다룰 수 있다는 것은 단순히 한 번에 많은 글자를 읽을 수 있는 것을 의미하는 것이 아닙니다.

방대한 정보 속에서 필요한 내용을 찾아내고, 각 요소들의 관계성을 이해하며 추론하는 능력이 요구됩니다.

이는 AI를 실제 업무나 연구에 활용하는 데 매우 중요한 역량입니다.

키미 시리즈의 진화

당신은 하나의 모델로 완성된 것이 아닙니다.

짧은 기간 동안 여러 세대가 개발되었으며, 각각 큰 진화를 이루었습니다.

초기 모델에서는 장문 처리 능력이 주요 특징이었습니다.

그 이후 세대에서는 코딩 능력과 추론 능력이 향상되었고, 이미지를 이해하는 멀티모달 기능과 복잡한 작업을 자율적으로 실행하는 에이전트 기능 등이 차례로 추가되었습니다.

또한, 그 모든 것을 집대성한 작품이라고 할 수 있는 Kimi K3입니다.

K3에서는 단순하게 모델을 거대화하는 것뿐만 아니라 MoE(Mixture of Experts), 독자적인 Attention 메커니즘, 새로운 학습 방법 등 다양한 기술 혁신이 적용되었습니다.

그 결과, 성능뿐만 아니라 효율, 확장성, 실용성 측면에서도 크게 발전했습니다.

문샷 AI가 향해 나가는 미래

AI 업계에서는 최근 “얼마나 현명한 AI를 만들 수 있는가”라는 경쟁뿐만 아니라 “얼마나 실제 일을 맡길 수 있는 AI를 만들 수 있는가”라는 경쟁으로 변화하고 있습니다.

Moonshot AI 역시 이러한 흐름을 강하게 의식하고 있습니다.

그들이 추구하는 것은 인간의 지시를 기다리는 것 이상의 인공지능이 아닙니다.

사용자의 목적을 이해하고 필요한 정보를 수집하며, 계획을 세우고 실행하고, 필요에 따라 수정까지 수행하는 — 그러한 자율적인 AI의 실현입니다.

Kimi K3는 그 미래를 향한 중요한 한 걸음이라고 할 수 있을 것이다.

따라서 본 기사에서는 단순히 “성능이 뛰어난 AI”로서가 아닌, “차세대 AI의 설계 철학을 구현한 모델”로서 Kimi K3를 심층적으로 해석해 나갈 것입니다.

다음 장에서는 Kimi K3 자체에 초점을 맞춰, “Kimi K3는 무엇인지”, “다른 AI와 무엇이 다른지”를 초보자도 쉽게 설명합니다.

제2장 기미 K3는 무엇인가

제1장에서는 Kimi K3를 개발한 Moonshot AI에 대해 알아보았습니다.

그러한 Moonshot AI가 세계에 선보인 “Kimi K3”는究竟 무엇인가 하는 AI일까요.

한마디로 표현하자면, 기미 K3는 “차세대 AI의 설계 철학을 구현한 대규모 언어 모델(LLM)”입니다.

단순히 문장을 생성하는 것뿐만 아니라, 장시간 고심하며 이미지를 이해하고 복잡한 프로그램을 작성하며, 심지어 여러 작업을 자율적으로 수행하는 것까지 고려하여 설계되었습니다.

하지만 그 진정한 가치는 “성능이 높다”는 한마디로 설명할 수 없는 것입니다.

키미 K3에는 현재 AI 개발의 방향성을 근본적으로 변화시킬 잠재력을 지닌 설계 사상이 다수 적용되어 있습니다.

이 장에서는 전체적인 맥락을 이해해 봅시다.

거대한 인공지능이 아닌 효율적인 인공지능

최근 인공지능은 “더 큰 모델을 만들면 성능도 향상된다”는 이러한 관점에서 발전해 왔습니다.

하지만 그 방법에는 한계가 있습니다.

모델을 거대화할수록 학습에는 막대한 양의 GPU가 필요하고, 추론에도 많은 계산 자원과 전력을 소비합니다.

결과적으로, 개발이 가능한 기업은 세계적으로도 극히 일부에 그쳐버렸습니다.

기미 K3는 이 과제에 대해 다른 접근 방식을 채택하고 있습니다.

물론, 총 파라미터 수는 약 28조 8천억이라는 세계 최대 규모입니다.

하지만 실제로 추론을 수행할 때 실제로 작동하는 부분은 그 중 일부에 불과합니다.

필요한 지식만 불러와 필요한 부분만 계산한다.

이러한 사고방식에 따라 높은 성능과 높은 효율을 동시에 달성할 수 있습니다.

완벽하게 한 사람이 모든 업무를 담당하는 만능 직원과는 달리, 각 전문 분야별로 뛰어난 전문가들이 대기하고 있으며, 그때마다 가장 적합한 사람만이 업무를 담당하는 회사와 같은 시스템입니다.

이후 장에서 자세히 설명할 Mixture of Experts(MoE)라는 아키텍처입니다.

AI는 “대답할” 수 있기 때문에 “행동할” 수 있다.

현재 많은 사람들이 AI라고 하면 ChatGPT와 같은 대화형 AI를 떠올릴 것입니다.

질문을 입력하면 답변이 반환된다.

글을 써 줄 거야.

번역해 줄 거다.

이런 식으로 질문과 답변이 일반적입니다.

하지만 인공지능 업계에서는 지금 새로운 흐름이 생겨나고 있습니다.

그것은 Agentic AI입니다.

에이전트(Agent)는 “대리인” 또는 “실행자”라는 의미를 가진 영어 단어입니다.

즉, 에이전트 AI는 인간으로부터 주어진 목적을 이해하고, 그 목적을 달성하기 위해 스스로 계획을 세우고, 필요한 정보를 수집하며, 여러 작업을 수행할 수 있는 AI를 의미합니다.

예를 들어 “여행 계획을 세워줘”라고 지시받는 상황을 생각해 봅시다.

기존 AI는 추천 관광지나 호텔을 소개하는 데 그치는 주된 역할을 수행했습니다.

한편, Agentic AI는 항공권 검색, 호텔 비교, 여행 일정 구성, 예산을 고려한 최적의 계획 제안 등 일련의 작업을 지원하는 것을 목표로 합니다.

키미 K3는 이러한 에이전트 시대를 지향해 설계된 AI의 하나입니다.

긴 글을 이해하는 능력의 강점

기미 시리즈를 논할 때 빼놓을 수 없는 특징은 “긴 문맥 이해 능력”입니다.

우리 인간도 책을 읽을 때 이전 페이지의 내용을 기억하면서 읽어 나갑니다.

만약 매번 몇 페이지를 읽을 때마다 내용을 잊어버린다면 소설도 논문도 이해할 수 없습니다.

AI도 같습니다.

긴 문장을 다루기 위해서는 과거의 내용을 보존하면서 새로운 정보와의 관계를 이해하고 지속적으로 파악해야 합니다.

키미 K3는 매우 긴 컨텍스트를 처리할 수 있도록 설계되어 있으며, 수백 페이지에 달하는 자료나 장대한 프로그램 코드, 여러 개의 기술 문서를 한 번에 분석하는 데에도 활용될 수 있도록 개발되었습니다.

이는 연구자뿐만 아니라 기업의 실무와 소프트웨어 개발 분야에서도 큰 강점을 제공합니다.

보는 것을 할 수 있는 AI

키미 K3는 글만 이해하는 AI가 아닙니다.

이미지 또한 Native 멀티모달 모델로서 설계되었습니다.

멀티모달은 텍스트, 이미지, 차트 등 다양한 종류의 정보를 동시에 처리할 수 있는 능력을 의미합니다.

예를 들어, 설계도를 보면서 사양서를 읽고, 거기서 문제점을 지적하거나, 그래프를 읽고 분석 결과를 글로 정리할 수 있습니다.

우리는 보통 글자만으로도 사물을 이해하는 것이 아닙니다.

그림, 사진, 표 등 다양한 정보를 조합하여 생각하고 있습니다.

키미 K3도 인간에 가까운 정보 처리 능력을 목표로 이러한 설계가 채택되었습니다.

열린 덕분에 더욱 확대되는 가능성

Kimi K3는 세계적으로 개발자들로부터 높은 평가를 받는 이유 중 하나로 Open Weight라는 특징이 있습니다.

일반적인 최첨단 AI는 클라우드 서비스로 제공되더라도 그 내부 구조나 가중치(Weights)는 공개되지 않습니다.

이용자는 AI를 사용하고 싶어도 그 안의 내용을 알 수 없습니다.

한편, 키미 K3는 무게와 기술 자료가 공개되어 있어 연구자, 기업, 개발자들이 모델을 자세히 분석하거나 자신들의 용도에 맞게 활용할 수 있습니다.

이는 인공지능 기술 발전을 가속화시키는 주요 요인이 될 것입니다.

전 세계 연구자들이 동일한 모델을 검증하고, 새로운 아이디어를 시도하며, 그 결과를 공유할 수 있기 때문입니다.

개방된 기술은 어느 한 회사만의 것이 아닌, 전 세계의 지혜에 의해 발전해 나갈 것입니다.

키미 K3는 그 흐름을 상징하는 모델 중 하나라고 할 수 있습니다.

키미 K3는 “미래의 AI” 시제품일지도 모른다.

Kimi K3를 조사할수록 느껴지는 것은 이 모델이 단순한 경쟁을 위해 만들어진 AI가 아니라는 점입니다.

물론, 벤치마크에서 높은 점수를 기록하는 것은 중요합니다.

하지만 그보다 더 주목해야 할 점은 “미래에 AI는 어떤 방향으로 발전해 나갈 것인가”라는 질문에 하나의 답을 제시하고 있다는 점입니다.

거대한 모델임에도 효율적으로 작동하며, 긴 문맥을 이해하고, 이미지와 문서를 통합하여 처리하며 자율적으로 행동한다.

키미 K3에는 현재 AI 업계에서 주목받는 기술 트렌드가 다수 포함되어 있습니다.

그래서 키미 K3를 이해하는 것은 하나의 AI 모델을 아는 것과는 다릅니다.

AI는 앞으로 어디로 나아갈지, 그 미래를 이해하는 데에도 도움이 됩니다.

다음 장에서는 Kimi K3의 놀라운 사양을 하나씩 분해하면서 “2.8조 파라미터”, “MoE”, “100만 토큰”과 같은 숫자들이 실제로 무엇을 의미하는지 최대한 쉽고 명확하게 설명합니다.

제3장 키미 K3의 사양 완전 해설

지금까지 Moonshot AI와 Kimi K3가 어떤 사상으로 개발된 AI인지 살펴보았습니다.

하지만 많은 사람들이 Kimi K3에 대해 처음 알게 되었을 때, 가장 먼저 눈여겨보는 것은 다음과 같은 숫자일까요.

총 파라미터 수: 약 280억 개
활성 파라미터: 약 1,040억
전문가 수: 896
활성 전문가: 161/1031
긴 맥락
네이티브 멀티모달
어느 날, 나는 ‘카호’의 첫 번째 책을 읽기 시작했다. 처음에는 조금 지루하게 느껴졌지만, 계속 읽다 보니 이야기가 점점 더 깊숙이 파고들었다. 주인공 ‘카호’는 텅 빈 삶을 살아가는 젊은 여성으로, 자신을 찾기 위해 끊임없이 방황한다. 그녀의 방황은 때로는 좌절과 고통으로 가득하지만, 동시에 아름다운 만남과 깨달음을 선물하기도 한다. ‘카호’의 이야기는 단순한 성장 소설이 아니다. 그것은 현대 사회의 소외와 고독, 그리고 인간 존재의 의미를 탐구하는 심오한 작품이다. ‘무라카미 하루키’는 ‘카호’를 통해 우리에게 질문을 던진다. “우리는 무엇을 위해 살아가고 있는가?” “진정한 행복은 무엇인가?” ‘카호’는 결국 자신만의 길을 찾고, 삶의 의미를 발견한다. 그녀의 이야기는 우리에게 용기를 주고, 삶의 가치를 되돌아보게 한다. 나는 ‘카호’의 이야기를 읽는 동안 많은 감정을 느꼈다. 슬픔, 기쁨, 분노, 사랑… 모든 감정이 뒤섞여 마치 내 삶을 살아가는 것처럼 느껴졌다. ‘카호’의 이야기는 앞으로도 오랫동안 내 마음속에 남아있을 것이다. 그리고 나는 ‘카호’를 통해 삶의 의미를 찾고, 더욱 성숙한 인간으로 성장할 수 있을 것이라고 믿는다.

일견하면, 겉으로 보기에 매우 웅장해 보입니다.

하지만 이러한 숫자만으로는 진정한 가치를 알 수 없습니다.

중요한 것은 “그 숫자가 무엇을 의미하는지”입니다.

이 장에서는 Kimi K3의 사양을 하나씩 꼼꼼히 분석하면서 왜 세계 곳곳의 인공지능 연구자들이 주목하고 있는지 이해해 나갈 것입니다.

Kimi K3 기본 사양

먼저, 키미 K3의 주요 사양을 목록으로 살펴보겠습니다.

총 파라미터 수: 약 2.8조 Active Parameters: 약 1040억 아키텍처: Mixture of Experts (MoE) Expert 수: 896 추론 시 사용 Expert: 16 멀티모달: 장문 처리: 100만 토큰 級 공개 형태: 오픈 웨이트

이제 각 항목들을 자세히 살펴보겠습니다.

2.8조 파라미터는 인공지능 모델, 특히 거대 언어 모델(LLM)에서 사용되는 용어로, 모델이 학습하는 변수를 의미합니다. 2.8조 파라미터는 방대한 양의 데이터를 학습하여 복잡한 패턴을 파악하고, 인간과 유사한 수준의 텍스트 생성, 번역, 요약 등의 작업을 수행할 수 있는 매우 큰 규모의 모델을 나타냅니다. 이러한 대규모 모델은 높은 성능을 보이지만, 학습 및 운영에 막대한 컴퓨팅 자원과 비용이 필요하다는 단점도 있습니다.

그녀 Kimi K3를 소개하는 기사에서 가장 눈에 띄는 숫자는 2.8조 파라미터일 것입니다.

そもそも「パラメータ」とは何でしょうか。

쉽게 말해서, 인공지능이 학습을 통해 얻은 지식이나 판단 기준을 수치로 나타낸 것입니다.

우리 인간에 비유하자면 경험이나 기억과 가까운 존재로 생각하는 것이 더 이해하기 쉽습니다.

예를 들어, 어린 아이들은 개와 고양이의 차이를 모릅니다.

하지만 여러 번 보거나, 다른 사람에게 알려받거나 하면서 “귀의 형태”, “울음소리”, “몸의 특징” 등을 학습하여 구별하는 능력이 생깁니다.

AI도 같습니다.

방대한 텍스트와 이미지를 학습하여 얻은 지식을 파라미터라는 형태로 저장합니다.

일반적으로 파라미터 수가 증가할수록 더 많은 지식과 복잡한 패턴을 학습할 수 있는 가능성이 있습니다.

그러한 의미는 아닙니다.

중요한 것은 그 지식을 어떻게 활용할 것인가입니다.

그리고, 그 점이 바로 김미 K3의 최대 매력인 것입니다.

왜 “28조 엔”인데, 매번 28조 엔을 사용하지 않는 걸까요?

여기서는 많은 사람들이 궁금해하는 점이 있습니다.

파라미터 수가 28조에 달한다면, 매번 전부를 계산하고 있는 걸까요?

사실이 아닙니다.

기미 K3에서는 추론 시에 실제로 작동하는 파라미터는 약 1,040억 개입니다.

남은 것은 대기 중입니다.

정말 합리적인 설계입니다.

예를 들어, 큰 병원을 상상해 보세요.

그곳에는 내과 의사, 외과 의사, 안과 의사, 피부과 의사, 정형외과 의사 등 수많은 전문의들이 있었다.

환자가 감기에 걸려 왔다고 해서 병원 전체의 의사들이 모두 모여 진료를 하는 일도 없습니다.

필요한 것은 내과 의사뿐입니다.

골절 시에는 정형외과 의사.

눈 질환이라면 안과 의사.

필요한 전문의만 진료를 담당합니다.

그녀 역시 같은 생각을 가지고 있었습니다.

AI 내부에는 896명의 “전문가(Expert)”가 존재하고, 그 중에서도 현재 질문에 가장 적합한 16명만이 업무에 관여합니다.

바로 그 이유로, 막대한 지식을 보유하면서도 빠른 속도로 작동할 수 있는 것입니다.

MoE 개념

이 메커니즘은 믹스처 오브 엑스퍼트(MoE)라고 합니다.

일본어에서는 “전문가 믹스 모델”이라고 번역되기도 합니다.

기존 AI는 하나의 거대한 뇌에서 모든 것을 처리했습니다.

수학도

역사도,

프로그래밍도

음식도

의학도

모든 것이 동일한 네트워크에서 처리됩니다.

한편, MoE에서는 전문 분야별로 역할을 분담합니다.

어느 전문가(전문가)는 수학에 능하다.

다른 전문가(Expert)는 코드 생성에 능숙합니다.

더욱이 다른 전문가도 문장 이해를 담당할 수도 있습니다.

질문 내용에 따라 최적의 전문가만이 선별되기 때문에 불필요한 계산이 크게 줄어듭니다.

이 시스템 덕분에 성능과 효율을 최대한으로 모두 달성할 수 있게 되었습니다.

최근의 최첨단 인공지능에서는 이 MoE가 급속도로 널리 보급되고 있습니다.

키미 K3는 그 대표적인 사례 중 하나입니다.

또한 “어떤 전문가가 어떤 역할을 가지고 있는지”, “16명의 전문가들이 어떻게 선정되는지”와 같은 내부 구조에 대해서는 제4장에서 자세히 설명합니다.

100만 토큰이란 무엇인가요?

키미 시리즈에서는 또 다른 큰 특징이 장문 처리 능력을 갖추고 있다는 점입니다.

사양을 확인한 결과 “100만 토큰”이라는 숫자가 기재되어 있습니다.

하지만 이 숫자만으로는 짐작하기 어려울 것입니다.

토큰이란 인공지능이 문장을 처리할 때의 최소 단위입니다.

일본어에서는 1개의 문자가 그대로 1개의 토큰이 되는 것은 아니지만, 대략적인 기준으로 생각할 수 있습니다.

100만 토큰이라는 용량은 소설을 여러 권을 모아 읽을 수 있는 수준의 정보량입니다.

기술 서적, 논문, 계약서, 프로그램 코드, 회의 의사록 등을 한 번에 읽어 들여, 그들의 관계성을 유지하면서 추론할 수 있습니다.

단순히 “많이 읽을 수 있다”는 이야기가 아닙니다.

重要なのは、長い文脈を忘れずに考え続けられることです。

AI는 장시간의 대화나 대규모 개발 프로젝트를 지원하는 데 있어, 이 능력은 매우 큰 의미를 갖습니다.

네이티브 멀티모달은 인간의 뇌가 여러 감각 정보를 자연스럽게 융합하여 세상을 이해하는 방식과 유사하게, 다양한 형태의 데이터를 동시에 처리하고 통합하는 것을 의미합니다. 좀 더 구체적으로 설명하자면, 텍스트, 이미지, 오디오, 비디오 등 다양한 형태의 데이터를 하나의 모델에서 처리하고, 이들 간의 관계를 파악하여 더욱 풍부하고 정확한 정보를 추출하는 기술을 지칭합니다. 예를 들어, 책 ‘夏帆’의 내용을 읽는 동시에 책 표지 이미지를 보거나, 책에 등장하는 음악을 듣는다면, 네이티브 멀티모달 기술은 이러한 다양한 정보를 연결하여 독자 경험을 더욱 풍부하게 만들 수 있습니다. 무라카미 하루키의 작품처럼, 텍스트뿐만 아니라 이미지, 음악 등 다양한 요소를 통해 독자에게 깊은 감동과 몰입감을 선사하는 경험을 네이티브 멀티모달 기술이 가능하게 할 것입니다. 이러한 기술은 단순히 데이터를 묶어 놓는 것을 넘어, 데이터 간의 관계를 이해하고, 이를 바탕으로 새로운 인사이트를 도출하는 데 중요한 역할을 할 것으로 기대됩니다.

키미 K3는 텍스트를 처리하는 AI가 아닙니다.

이미지를 이해할 수 있습니다.

이를 네이티브 멀티모달로 부릅니다.

이미지를 보는 AI라면 흔한 일이 아닐 수 있습니다.

하지만, ‘네이티브’라는 용어가 중요합니다.

처음부터 이미지와 텍스트를 통합하여 이해하는 것을 전제로 설계되었습니다.

따라서 그림, 스크린샷, 설계도, 화이트보드, 프레젠테이션 자료 등도 문장과 함께 자연스럽게 이해할 수 있습니다.

AI는 현실 세계에서 활약하기 위해서는 텍스트만으로는 부족합니다.

인간이 일상생활에서 다루는 다양한 정보를 이해할 수 있어야 합니다.

키미 K3는 그 방향으로 크게 진출한 모델이라고 할 수 있습니다.

Open Weight의 의미

Kimi K3의 또 다른 특징은 오픈 웨이트입니다.

AI 업계에서는 “오픈 소스”와 “Open Weight”는 뉘앙스 차이가 있습니다.

Open Weight는 학습된 모델의 가중치가 공개되어 있어 연구자나 개발자가 실제로 모델을 실행하거나, 검증하거나, 독자적으로 개선할 수 있는 상태를 의미합니다.

이는 인공지능 연구에 매우 중요합니다.

내부에서 완전히 블랙박스 모델에서는 “왜 이 성능이 발생하는가”를 깊이 검증할 수 없습니다.

한편, 오픈 웨이트 모델은 전 세계 연구자들이 동일한 모델을 사용하여 실험하고 새로운 발견이나 개선으로 이어질 수 있습니다.

그 결과, 기술 발전이 가속화되고 AI 커뮤니티 전체의 발전에 기여합니다.

사양 이상의 중요한 것은 “설계 사상”이다.

지금까지 키미 K3의 대표적인 사양을 살펴보았습니다.

확실히, 2.8조 파라미터나 100만 토큰과 같은 수치는 매우 인상적입니다.

하지만 진정 주목해야 할 것은 바로 그 숫자들만이 아닙니다.

중요한 것은 “거대함” 자체라기보다는 “거대함 속에서도 효율적이라는 점”이다.

모든 것을 기억하는 것**이 아니라** 필요한 지식만 골라서 생각하는 것**입니다**.

그리고 “질문에 답하는 것”이 아니라 “복잡한 일을 끝까지 완수하는 것”입니다.

Kimi K3의 사양은 그 철학을 실현하기 위한 수단입니다.

다음 장에서는 이 글 중에서도 가장 기술적인 내용에 깊이 들어가 설명합니다.

Kimi K3를 지탱하는 Mixture of Experts(MoE), Kimi Delta Attention(KDA), Stable LatentMoE 등 핵심 기술들을 다루며, “왜 Kimi K3는 이처럼 높은 성능과 효율을 동시에 이룰 수 있는가”를 최대한 쉽게 설명해 드리겠습니다.

4장. 김이 K3를 지탱하는 혁신적인 아키텍처

이 부분까지 Kimi K3가 매우 뛰어난 성능을 가진 AI이며, ‘거대이면서 효율적’이라는 특징을 가지고 있음을 확인했습니다.

하지만 여기서 한 가지 의문이 생깁니다.

왜 카호 K3가 그렇게 효율적인 걸까요.

AI의 성능을 높이는 방법은, 어느 면에서든 매우 단순합니다.

모델을 확대한다.

GPU를 업그레이드한다.

더 많은 데이터를 학습시킨다.

これだけでも性能は向上します。

실제로 최근 몇 년간 AI 업계는 이러한 “규모 확대 경쟁”이 중심이었습니다.

더욱 거대한 모델.

더 큰 데이터 센터.

더 많은 GPU

물론, 이 방법은 큰 성과를 낳았습니다.

하지만 동시에 하나의 문제도 안고 가지 않게 됩니다.

크게 할수록 효율이 저하되는 문제입니다.

예를 들어, 인간이 100페이지의 책을 읽는 것과 1만 페이지의 책을 읽는 것은 당연히 후자의 경우 시간과 체력 모두 더 많이 필요합니다.

AI도 같습니다.

모델이 거대해질수록 추론에 필요한 계산량과 소비 전력은 증가하고, 학습 비용 또한 폭발적으로 커집니다.

결론적으로 성능과 효율은 항상 상충 관계에 있었습니다.

이에 키미 K3는 기존과 차별화된 발상을 채택합니다.

필요한 것만 사용하면 된다.

이러한 사고방식이 Kimi K3의 전체 아키텍처를 관통하고 있습니다.

MoE―거대한 AI를 현실적으로 구현하는 방식

기미키3를 논의할 때 필수적인 기술이 Mixture of Experts(MoE)입니다.

제3장에서는 “896명의 전문가 중에서 단 16명만이 참여한다”는 비유를 소개했습니다.

여기서는 그 작동 원리를 조금 더 자세히 살펴보겠습니다.

기존의 트랜스포머 모델에서는 하나의 거대한 뉴럴 네트워크가 모든 입력을 처리했습니다.

질문이 수학이든

법률에서도,

의학에서도,

프로그래밍이든,

매번 동일한 네트워크 전체가 작동한다.

이는 매우 단순한 구조이지만, 규모가 커지면 비효율적입니다.

실제로 수학 문제를 풀기 위해 요리 지식을 매번 불러내야 하는 것은 아닙니다.

역이기도 하다.

요리의 레시피를 설명하는 데에는 복잡한 물리학 지식을 매번 계산할 필요는 없을 겁니다.

사람은 필요에 따라 지식을 전환한다.

수학 선생님에게 역사를 묻는 사람은 없으며, 심장 수술을 피부과 의사에게 의뢰하는 일도 없습니다.

각 분야 전문가들은 각자의 전문 분야를 담당하고 있습니다.

MOE는 이 인간 사회의 시스템에 매우 잘 맞습니다.

AI 내부에는 수백 명의 전문가가 존재하며, 입력된 내용에 따라 최적의 전문가만이 선별됩니다.

그 결과, 막대한 지식을 가지고 있음에도 불구하고 실제 계산량은 대폭 줄어들 수 있습니다.

기미 K3에서는 총 파라미터 수가 약 280억 개이지만, 추론 시 동작하는 것은 약 1100억 개 파라미터입니다.

즉, 방대한 지식을 가지고 있지만, 필요한 최소한의 계산만으로 답변을 생성하는 것입니다.

이 설계는 성능뿐만 아니라 비용과 소비 전력 측면에서도 매우 중요한 의미를 갖습니다.

AI가 사회의 모든 분야에서 활용되기 위해서는 “똑똑함”뿐만 아니라 “효율적으로 작동하는 것”이 간절합니다.

MoE는 그 과제에 대해 현재 가장 유력한 해결책 중 하나라고 할 수 있습니다.

팀의 성공을 좌우하는 핵심 요소 중 하나는 바로 “지휘관”의 역할입니다. 단순히 뛰어난 기술을 가진 선수 한 명을 선택하는 것과는 차원이 다른, 팀 전체를 조율하고 전략을 제시하며 선수들을 하나로 묶어내는 리더십이 필요합니다. 물론, 뛰어난 개인 기량은 기본입니다. 하지만 그 기량을 어떻게 활용하여 팀의 목표를 달성할 수 있을지, 어떤 전략을 통해 상대를 압도할 수 있을지를 판단하고 팀원들에게 전달하는 능력이 중요합니다. 마치 축구 경기에서 수비의 “지휘관”이 포지션을 분배하고, 상대 공격을 예측하며, 선수들에게 정확한 지시를 내리는 것과 같습니다. “지휘관”은 팀의 모든 것을 책임지는 존재입니다. 승패에 대한 책임도, 선수들의 성장에 대한 책임도 모두 짊어지고 있어야 합니다. “지휘관”을 선택할 때 가장 중요한 것은 팀의 상황과 선수들의 특성을 고려하는 것입니다. 팀의 분위기와 선수들의 성향에 맞는 “지휘관”을 선택해야만 팀 전체의 시너지를 극대화할 수 있습니다. “카호”는 최근 인터뷰에서 “팀의 ‘지휘관’은 팀의 정신적인 지주가 된다”고 말했습니다. “카호”의 말처럼, “지휘관”은 팀의 미래를 짊어지고 나아갈 존재입니다. 무라카미 하루키는 그의 작품에서 “인간은 끊임없이 자신의 내면을 탐구하며, 자신만의 ‘지휘관’을 찾으려 한다”고 말했습니다. “무라카미 하루키”의 말처럼, “지휘관”을 찾는 것은 자신을 이해하고 성장하는 과정이기도 합니다. 팀의 성공을 위해서는 “지휘관”의 역할이 필수적입니다. 최근 한 축구팀은 새로운 “지휘관”을 영입하여 팀 전력 강화에 성공했습니다. 이 팀의 “지휘관”은 뛰어난 리더십과 전략적인 사고 능력을 바탕으로 팀을 빠르게 전술적으로 변화시켰습니다. “지휘관”의 존재는 팀의 성공을 위한 가장 중요한 요소 중 하나입니다.

여기서 새로운 의문이 제기됩니다.

896인 전문가들이 있는 것으로 보고되어 있습니다.

누가 그 16명을 선발하는 걸까요?

만약 매번 무작위로 선택한다면 성능은 안정적이지 않을 것이다.

수학 문제인데, 글쓰기 실력이 뛰어난 전문가들만 선발되면 올바른 답을 기대하기는 어려울 것입니다.

그러므로 중요한 것은 Router(라우터)와 Gating Network라고 불리는 메커니즘입니다.

이 메커니즘은 한마디로 말해서 “교통 안내 역할”입니다.

사용자로부터 입력된 문장을 즉시 분석합니다.

이 질문에 가장 적합한 전문가가 누구인지

저는 아직 해당 게시글의 내용을 알 수 없습니다. 요청하신 대로 자연스럽고 정확한 한국어 번역문을 출력해 드리겠습니다.

예를 들어,

파이썬으로 웹 애플리케이션을 만들고 싶다

그런 질문이라면, 숙련된 전문가가 우선될 가능성이 높습니다.

한편으로

셰익스피어에 대해 알려주세요.

이러한 질문에는 문학이나 역사에 대한 지식을 갖춘 전문가가 선발될 것입니다.

물론, 실제로는 전문가에게 “수학 담당”, “문학 담당”과 같은 레이블이 붙어 있는 것은 아닙니다.

학습을 거듭하는 과정에서 각 전문가가 자연스럽게 자신의 전문 분야를 가지게 되며, 라우터는 그 특징을 활용하여 최적의 조합을 선택합니다.

이러한 시스템 덕분에 Kimi K3는 거대한 모델임에도 불구하고 빠른 속도와 높은 정확도로 추론을 수행할 수 있습니다.

웅대한 AI에서 현명하게 설계된 AI로

최근 몇 년간 AI 업계에서는 “더 거대한 모델을 만드는 경쟁”이 계속되어 왔습니다.

하지만 그 경쟁은 조금씩 변화하고 있습니다.

중요한 것은 단순한 파라미터 수만이 아닙니다.

제한된 계산 자원 안에서 얼마나 효율적으로 지식을 활용할 수 있을까.

얼마나 효율적으로 추론할 수 있을까.

그러한 설계 역량이 AI의 성능을 좌우하는 시대가 되었습니다.

키미 K3는 그 변화를 상징하는 모델 중 하나입니다.

거대한 것 자체를 목적이 아닌 “필요한 지식만 필요한 시점에 사용하는”이라는 사상을徹底的に追求한 결과, 높은 성능을 실현하고 있습니다.

또한, 이 설계 방식은 MoE만으로는 끝나지 않습니다.

Kimi K3에는 더욱 추론을 고속화하기 위한 독자적인 기술이 결합되어 있습니다.

그 중심에는 Kimi Delta Attention(KDA)이 있습니다.

이 기술 덕분에 기존 트랜스포머가 겪었던 “문장의 길이가 길어질수록 계산량이 급증하는” 문제에 새로운 해결책이 제시되었습니다.

다음 장에서는 Kimi K3의 최대 기술 혁신이라고 할 수 있는 KDA의 작동 방식에 대해 자세히 살펴보겠습니다.

Kimi Delta Attention (KDA) – 장문 시대에 적합한 새로운 주의 집중 방식

MoE(믹스드 모달리티 엑셀러레이터)에 의해 Kimi K3는 “필요한 지식만 활용”하여 효율성을 달성했습니다.

하지만, 인공지능에는 또 다른 중요한 과제가 있었습니다.

주의사항입니다.

어텐션이란 무엇인가

현재 거의 모든 대규모 언어 모델은 “Transformer”라는 아키텍처를 채택하고 있습니다.

그리고, 그 트랜스포머의 핵심 기술이 어텐션입니다.

주의를 직역하면 “주의” 또는 “상황에 주목”이라는 의미가 됩니다.

우리 인간도 책을 읽을 때 모든 단어를 똑같은 중요도로 읽고 있는 것은 아닙니다.

예를 들어, 다음 문장을 읽어보세요.

어제 야마다는 새로운 노트북을 구매했습니다. 그리고 오늘 그 노트북으로 처음 프로그램을 작성했습니다.

마지막에 언급된 “그 컴퓨터”가 무엇을 의미하는지는 우리는 자연스럽게 이해할 수 있습니다.

뇌 속에서 “그 컴퓨터”라는 용어와 “새로운 노트북”이라는 것을 연결하고 있기 때문입니다.

AI도 같습니다.

문맥 안에서 단어들 간의 관계를 이해하기 위해 어떤 단어에 주목해야 할지를 계산하고 있습니다.

이것은 어텐션입니다.

트랜스포머가 등장하면서 인공지능의 성능이 비약적으로 향상된 데는 이 어텐션 메커니즘 덕분이 있습니다.

주의가 직면한 문제

주의는 매우 뛰어난 기술이지만, 한 가지 약점이 있습니다.

문장이 길어질수록 계산량이 급격하게 증가하는 것입니다.

예를 들어,

100자 이내의 글에는 문제가 없습니다.

1000자도 충분히 처리할 수 있습니다.

그러나 그 규모가 100만 토큰 수준으로 커지면 상황이 달라집니다.

AI는 방대한 양의 단어들 사이의 관계를 끊임없이 계산해야 하며, 그 결과 처리 시간과 GPU 사용량 또한 급격히 증가합니다.

이는 긴 텍스트를 처리하는 AI에게 큰 어려움이었습니다.

그러므로,

더 길고 복잡한 글을 이해하고 싶다.

더 빠르고 정확하게 추론하고 싶다.

이 두 가지를 동시에 달성하는 것이 어려웠던 것입니다.

키미 델타 어텐션이라는 개념

그러한 결과로 Moonshot AI는 새로운 Attention 메커니즘을 개발했습니다.

그것은 키미 델타 어텐션(KDA)입니다.

KDA의 핵심을 한 문장으로 표현한다면,

매번 모든 것을 다시 계산할 필요는 없을 수도 있습니다.

이런 생각을 해본 거다.

우리 인간도 책을 읽을 때마다 처음부터 모든 것을 다시 읽는 것은 아닙니다.

이전에 읽었던 내용을 기억하기 때문입니다.

변화한 부분만 확인해도 충분합니다.

KDA 역시 이러한 생각 방식과 유사한 접근 방식을 채택하고 있습니다.

매번 모든 정보를 처음부터 다시 계산하는 대신, 변화된 정보에 효율적으로 접근하여 불필요한 계산을 줄입니다.

그 결과, 장문을 다루는 경우에도 빠른 추론을 유지하기 쉬워집니다.

단순히 속도 향상이 아닙니다.

AI는 수십만, 수백만 토큰과 같은 긴 문맥을 다루는 시대에 맞춰진 새로운 설계 사상이라고 할 수 있습니다.

Stable LatentMoE─MoE를 더욱 발전시키는 원리 무라카미 하루키의 『나를 잊으렵니다』를 읽고 난 후, 나는 삶의 의미에 대해 깊이 생각하게 되었습니다. 마치 카호가 잃어버린 기억을 찾아 나서는 것처럼, 나는 나 자신을 잃어버린 기억을 찾아야 한다는 것을 깨달았습니다.

키미 K3에는 또 다른 중요한 기술이 있습니다.

그것은 Stable LatentMoE입니다.

일반적인 MoE(Mixture of Experts)에서는 다수의 전문가를 번갈아 가며 추론을 수행합니다.

매우 효율적이지만, 모델이 커질수록 학습이 어려워지는 문제점이 있었습니다.

전문가들 간의 균형이 깨지거나, 일부 전문가들만 사용될 경우, 원래 기대했던 성능을 발휘할 수 없습니다.

Stable LatentMoE는 그러한 문제를 개선하기 위해 설계된 시스템입니다.

쉽게 말하면.

전문가들이 편견 없이 각자의 역량을 충분히 발휘할 수 있도록 학습을 안정화하는 방안입니다.

이로 인해 대규모 MoE 모델에서도 높은 성능을 유지하기 쉬워집니다.

AI 모델은 단순히 크기가 크다고 좋은 것이 아닙니다.

거대한 모델을 안정적으로 학습시키는 것은 사실상 매우 어려운 기술입니다.

주의: 잔여(Residual) 기법의 활용 잔여(Residual) 기법은 딥러닝 모델의 학습을 용이하게 하는 효과적인 방법입니다. 간단히 말해, 입력값을 그대로 전달하는 연결을 추가하는 것입니다. 이는 네트워크가 전체적인 변화를 학습하는 것보다 부분적인 변화를 학습하는 데 더 효과적입니다. 이 기법은 특히 깊은 신경망에서 발생하는 기울기 소실 문제를 완화하는 데 도움이 됩니다. 깊은 네트워크에서 기울기가 각 층을 통과할 때마다 점차적으로 작아지는 현상을 기울기 소실이라고 합니다. 잔여 연결은 이 기울기가 층을 통과할 때 사라지는 것을 막아줍니다. 잔여 연결은 입력값에 대한 변화를 직접적으로 학습하는 대신, 변화의 차이를 학습합니다. 즉, 입력값과 출력값의 차이를 학습하는 것입니다. 이 방법은 네트워크가 전체적인 변화를 학습하는 것보다 부분적인 변화를 학습하는 데 더 효과적입니다. 이러한 접근 방식은 네트워크가 더 쉽게 학습할 수 있도록 하여, 더 깊고 복잡한 모델을 학습할 수 있게 합니다. 또한, 학습 속도를 향상시키고, 더 나은 성능을 얻을 수 있도록 합니다. 이 기법은 이미지 인식, 자연어 처리 등 다양한 분야에서 성공적으로 활용되고 있습니다. 특히, 이미지넷(ImageNet) 데이터셋을 사용하는 이미지 인식 모델에서 큰 성공을 거두었습니다. 무라카미 하루키처럼, 잔여 기법은 복잡한 문제를 해결하기 위한 창의적인 접근 방식이라고 할 수 있습니다.

Kimi K3에서는 주의 자체뿐만 아니라 그 주변에도 세밀한 개선이 이루어졌습니다.

그 중 하나는 어텐션 레지듀얼입니다.

AI는 수십층, 수백층이라는 뉴럴 네트워크를 통과하면서 정보를 처리하고 있습니다.

하지만 층이 깊어질수록 정보가 손실되거나 학습이 어려워지는 문제가 있습니다.

어텐션 잔류는 중요한 정보를 보다 효율적으로 다음 층으로 전달하기 위한 시도입니다.

도로에 비유하자면 고속도로에 바이패스를 만드는 것과 같습니다.

모든 차량이 동일한 경로를 통과하는 것이 아니라, 일부 핵심 정보는 보다 효율적인 경로를 통해 전체 흐름을 개선합니다.

하나하나 보면 눈에 띄지 않는 개선이지만, 이러한 노력이 Kimi K3 전체의 성능을 지탱하고 있습니다.

MoonViT V2는 이미지 이해를 위한 혁신적인 기술입니다. 구글 리서치에서 개발되었으며, 트랜스포머 기반의 비전 트랜스포머(ViT) 모델을 기반으로 합니다. 기존 ViT 모델의 단점을 보완하고 이미지 이해 성능을 크게 향상시켰습니다. 특히, MoonViT V2는 이미지의 지역적 특징을 더 잘 포착하도록 설계되었습니다. 이는 이미지 내의 특정 영역에 집중하여 더 정확한 이해를 가능하게 합니다. 또한, 다양한 이미지 데이터셋에서 높은 성능을 보여주며, 특히 복잡한 장면이나 작은 객체를 인식하는 데 강점을 보입니다. MoonViT V2는 이미지 분류, 객체 검출, 이미지 분할 등 다양한 컴퓨터 비전 작업에 활용될 수 있습니다. 구글 클라우드 비전 API를 통해 쉽게 접근할 수 있으며, 다양한 프로그래밍 언어를 지원합니다. MoonViT V2는 이미지 이해 기술의 미래를 제시하며, 다양한 분야에서 혁신적인 응용 가능성을 보여주고 있습니다. 앞으로 더욱 발전된 기술을 통해 더욱 정확하고 효율적인 이미지 이해가 가능해질 것으로 기대됩니다.

Kimi K3의 가장 큰 특징은 이미지까지 이해할 수 있다는 점입니다.

그 이미지 이해를 지원하는 것이 MoonViT V2입니다.

ViT는 “Vision Transformer”의 약어로, 이미지를 Transformer로 처리하기 위한 기술입니다.

기존의 이미지 인식 AI는 사진 속에 무엇이 담겨 있는지 판단하는 것이 주된 역할이었습니다.

한편, 카호 K3에서는 이미지를 “읽는” 것이 요구됩니다.

그는 마치 텅 빈 페이지에 자신의 삶을 붓고 있었다. 그는 마치 텅 빈 페이지에 자신의 꿈을 붓고 있었다. 그는 마치 텅 빈 페이지에 자신의 희망을 붓고 있었다. 그는 마치 텅 빈 페이지에 자신의 진실을 붓고 있었다. 그는 마치 텅 빈 페이지에 자신의 아름다움을 붓고 있었다. 그는 마치 텅 빈 페이지에 자신의 깊이를 붓고 있었다. 그는 마치 텅 빈 페이지에 자신의 세계를 붓고 있었다. 그는 마치 텅 빈 페이지에 자신의 존재 이유를 붓고 있었다. 그는 마치 텅 빈 페이지에 자신의 시간을 붓고 있었다. 그는 마치 텅 빈 페이지에 자신의 열정을 붓고 있었다. 그는 마치 텅 빈 페이지에 자신의 감정을 붓고 있었다. 그는 마치 텅 빈 페이지에 자신의 슬픔을 붓고 있었다. 그는 마치 텅 빈 페이지에 자신의 생각을 붓고 있었다. 그는 마치 텅 빈 페이지에 자신의 꿈을 붓고 있었다. 그는 마치 텅 빈 페이지에 자신의 삶을 붓고 있었다. 그는 마치 텅 빈 페이지에 자신의 존재를 붓고 있었다. 그는 마치 텅 빈 페이지에 자신의 희망을 붓고 있었다. 그는 마치 텅 빈 페이지에 자신의 꿈을 붓고 있었다. 그는 마치 텅 빈 페이지에 자신의 삶을 붓고 있었다. 그는 마치 텅 빈 페이지에 자신의 꿈을 붓고 있었다. 그는 마치 텅 빈 페이지에 자신의 희망을 붓고 있었다. 그는 마치 텅 빈 페이지에 자신의 꿈을 붓고 있었다. 그는 마치 텅 빈 페이지에 자신의 삶을 붓고 있었다. 그는 마치 텅 빈 페이지에 자신의 꿈을 붓고 있었다. 그는 마치 텅 빈 페이지에 자신의 희망을 붓고 있었다. 그는 마치 텅 빈 페이지에 자신의 삶을 붓고 있었다. 그는 마치 텅 빈 페이지에 자신의 꿈을 붓고 있었다. 그는 마치 텅 빈 페이지에 자신의 삶을 붓고 있었다. 그는 마치 텅 빈 페이지에 자신의 꿈을 붓고 있었다. 그는 마치 텅 빈 페이지에 자신의 희망을 붓고 있었다. 그는 마치 텅 빈 페이지에 자신의 삶을 붓고 있었다. 그는 마치 텅 빈 페이지에 자신의 꿈을 붓고 있었다. 그는 마치 텅 빈 페이지에 자신의 삶을 붓고 있었다. 그는 마치 텅 빈 페이지에 자신의 꿈을 붓고 있었다. 그는 마치 텅 빈 페이지에 자신의 희망을 붓고 있었다. 그는 마치 텅 빈 페이지에 자신의 삶을 붓고 있었다.

오늘 발표 자료는 ‘카호’의 신작 소설 ‘가을의 숲’을 중심으로 진행됩니다. 이 소설은 무라카미 하루키 특유의 섬세하고 몽환적인 분위기를 담아낸 작품으로, 주인공 ‘타카시’와 ‘미나미’의 만남과 헤어짐을 통해 삶의 의미와 아름다움을 이야기합니다. ‘가을의 숲’은 ‘타카시’가 ‘미나미’를 만나면서 겪는 변화와 그로 인한 갈등, 그리고 그들의 관계가 덧없이 흘러가는 시간 속에서 어떻게 얽히고설키는지 보여줍니다. 무라카미 하루키는 이 소설을 통해 시간의 흐름과 기억의 중요성을 강조하며, 독자들에게 깊은 여운을 남깁니다. 특히 ‘타카시’는 ‘미나미’를 만나면서 자신의 삶에 대한 새로운 시각을 갖게 되고, ‘미나미’ 역시 ‘타카시’를 통해 자신의 내면을 탐구하게 됩니다. 이들의 만남은 마치 덧없이 사라지는 가을 숲처럼, 아름답지만 영원하지 않은 순간들을 통해 삶의 의미를 되새기게 합니다. 이러한 무라카미 하루키 특유의 서정적인 문체와 섬세한 심리 묘사는 ‘가을의 숲’을 독특하고 매력적인 작품으로 만들어 줍니다. 발표에서는 ‘가을의 숲’의 주요 등장인물, 줄거리, 그리고 무라카미 하루키의 문체 특징 등을 심층적으로 분석하고, 독자들에게 이 작품을 더욱 깊이 이해할 수 있도록 돕고자 합니다.
설계도
수학의 그래프
회로도
화이트보드
UI 디자인

이러한 텍스트들을 함께 고려하여 이해하고 추론해야 합니다.

MoonViT V2는 그 목적에 맞게 설계된 중요한 구성 요소입니다.

이미지는 단순한 픽셀들의 집합체가 아닌 AI가 추론에 활용할 수 있는 정보로 변환하는 역할을 담당하고 있습니다.

키미 K3가 제시한 “디자인의 시대”

키미 K3를 자세히 살펴보면 하나의 공통점이 있습니다.

어떤 기술도 “더 크고 강력한 AI를 만들자”라는 발상과는 거리가 멉니다.

어떻게 하면 같은 계산 자원으로 더 현명하게 작동할 수 있을까요?

어떻게 하면 긴 글을 효율적으로 이해할 수 있을까요.

어떻게 하면 많은 전문가를 효율적으로 활용할 수 있을까요?

이러한 질문에 대한 답으로 KDA, Stable LatentMoE, Attention Residuals, MoonViT V2와 같은 기술이 등장했습니다.

즉, Kimi K3의 혁신성은 “2.8조 파라미터”라는 숫자 그 이상이 아닙니다.

정말로 평가받아야 할 것은 그 안에 담겨 있는 수많은 설계상의 노고입니다.

AI 업계에서는 종종 “모델의 크기”가 주요 논의 주제로 다뤄집니다.

하지만, 카미 K3는 우리에게 또 다른 시각을 보여줍니다.

AI의 미래를 결정하는 것은 단순한 크기가 아닌 뛰어난 아키텍처이다.

이러한 사고방식이 바로 Kimi K3가 전 세계 연구자들의 주목을 받고 있는 가장 큰 이유입니다.

다음 장에서는 이러한 혁신적인 아키텍처를 구현하기 위해 Moonshot AI가 어떤 데이터를 사용하고 어떤 학습 방법을 통해 Kimi K3를 키웠는지, 그 훈련 과정을 자세히 살펴보겠습니다.

제5장 키미 K3는 어떻게 학습했는가

이전 내용을 살펴보신 것처럼, Kimi K3에는 MoE(Mixture of Experts)나 Kimi Delta Attention(KDA) 등 다양한 혁신적인 기술이 적용되었습니다.

하지만 아무리 훌륭한 아키텍처를 설계하더라도, 그것만으로는 뛰어난 AI가 될 수 없습니다.

AI에게, 진정한 성장은 “학습” 과정에서 결정됩니다.

이는 인간과 매우 닮았습니다.

어떤 뛰어난 두뇌를 가지고 태어났어도, 책을 읽지 않고, 경험을 쌓지 않고, 실패로부터 배우지 못하면 그 능력을 충분히 발휘할 수 없습니다.

AI도 같습니다.

탁월한 모델에게는 탁월한 교육이 필요합니다.

키미 K3가 세계 최고 수준의 성능을 달성할 수 있었던 이유는 모델 자체뿐만 아니라, 그 뒤에 있는 방대한 학습 과정에 있습니다.

이 장에서는 Kimi K3가 어떻게 지식을 습득하고, 어떻게 “생각하는 AI”로 성장했는지 살펴보겠습니다.

AI의 학습은 “학교 교육”과 매우 유사하다.

AI의 학습은 크게 세 단계로 나뉩니다.

기초 지식을 익히다
문제 해결 방법을 배우는 방법
실천을 통해 역량을 키우세요.

이는 인간이 학교에 다니는 과정과 매우 유사합니다.

먼저, 초등학교나 중학교에서 국어, 수학, 과학, 사회 등의 기초를 학습합니다.

그 이후, 고등학교나 대학교에서는 전문 지식을 습득합니다.

더 나아가, 사회에 나가면서 실제 일을 경험하고, 더욱 실용적인 능력을 습득하게 됩니다.

키미 K3도 거의 같은 흐름으로 학습하고 있습니다.

제1단계 사전 학습

키미 K3가 처음으로 수행하는 것은 Pretraining(사전 학습)입니다.

이는 인터넷상의 방대한 양의 텍스트, 코드, 책, 논문 등을 읽어들여 “세계의 지식”을 습득하는 과정입니다.

물론, 인간처럼 글을 읽고 의미를 이해하는 것은 아닙니다.

AI는 인간의 창의성을 모방하는 데 집중하고 있습니다. 특히, 작가 무라카미 하루키의 작품 분석에서 AI는 그의 문체, 주제, 상징 등을 파악하는 데 상당한 성과를 보이고 있습니다. AI는 단순히 단어의 빈도나 패턴을 분석하는 것을 넘어, 인간 작가가 의식적으로 의도한 의미를 추론하려는 시도를 하고 있습니다. 최근 AI는 ‘카호’의 작품을 분석하며, 주인공의 내면 심리 변화를 예측하고, 작품 전체의 주제를 해석하는 데 활용되고 있습니다. AI는 ‘카호’의 성장 과정을 데이터 분석을 통해 시각화하고, 그녀의 감정 변화를 예측하는 모델을 구축하기도 했습니다. AI의 이러한 발전은 작가와 AI의 협업 가능성을 보여줍니다. AI는 작가의 아이디어를 발전시키고, 새로운 시각을 제시하며, 작가가 놓칠 수 있는 부분을 보완하는 역할을 수행할 수 있습니다. 물론, AI가 인간 작가의 창의성을 완전히 대체할 수는 없지만, AI는 작가의 창작 활동을 돕는 강력한 도구가 될 수 있을 것입니다. AI는 또한, 인간의 기억과 경험을 기반으로 한 콘텐츠 제작에도 활용될 수 있습니다. 예를 들어, AI는 특정 사건이나 인물의 기억을 바탕으로 소설, 영화, 드라마 등의 스토리를 생성할 수 있습니다. 하지만, AI가 생성한 콘텐츠는 인간의 감성과 경험을 담아낼 수 없다는 한계가 있습니다. AI의 발전은 창작의 영역에 새로운 가능성을 제시하지만, 동시에 창작의 본질에 대한 질문을 던지기도 합니다. AI가 생성한 콘텐츠는 진정으로 ‘창작’이라고 할 수 있을까요? AI는 인간의 창의성을 모방할 수는 있지만, 인간만이 가진 독특한 감성과 경험을 담아낼 수는 없습니다.

다음으로 나올 단어는 무엇일까요.

수십 조 횟수를 예측하면서 언어의 규칙과 지식을 조금씩 학습해 나갑니다.

어쨌든, 그가 쓴 글은 마치 텅 빈 방처럼, 텅 빈 공간을 채우려는 듯했다. 마치 텅 빈 캔에 물감을 붓는 것처럼, 그가 쓴 글은 텅 빈 공간을 채우려는 듯했다. 그는 마치 텅 빈 방을 채우려는 듯, 텅 빈 캔에 물감을 붓는 것처럼, 텅 빈 공간을 채우려는 듯했다.

富士山は日本で最も＿＿＿山です。

그러한 문장이 있다면,

AI는 높은 확률을 예측합니다.

이러한 학습을 수조 번 반복하는 과정에서

일본어 문법

英語、

프로그래밍

数学、

역사,

물리학

법률,

医学、

다양한 지식을 익혀 나갈 것입니다.

이 단계에서는 “답을 찾는 것”보다 “지식을 축적하는 것”이 목적입니다.

사람으로서 말하자면 초등학교부터 대학교까지 공부하는 상태와 비슷할 것입니다.

2단계 포스트 훈련 (역량 강화)

사전 학습을 마친 AI는 많은 지식을 가지고 있습니다.

하지만, 그것만으로는 실제 대화가 잘 풀리지 않습니다.

질문에 대한 지나치게 긴 답변을 하거나,

의도를 오해하거나,

설명이 명확하지 않을 수 있습니다.

그곳에서 진행되는 것은 포스트 훈련이다.

여기서는 인간이 바람직한 답변의 방식을 학습해 나갈 것입니다.

例えば、

간결하게 답변해야 할 질문

상세하게 설명할 질문

프로그램을 작성해야 할 질문들

다양한 상황에 맞는 최적의 응답을 익힙니다.

최근 인공지능 기술을 활용하면 이 과정이 모델의 사용 편의성을 크게 좌우합니다.

결국,

지식량만으로는 충분하지 않다.

그 지식을 어떻게 활용할 것인가

배우는 단계에 있기에 때문입니다.

3단계: 강화 학습 (Reinforcement Learning) 강화 학습은 에이전트가 환경과 상호작용하면서 보상을 최대화하는 방향으로 행동을 학습하는 방법입니다. 이 과정에서 에이전트는 시행착오를 통해 최적의 정책을 찾아나갑니다. 좀 더 자세히 설명하자면, 강화 학습은 다음과 같은 요소들로 구성됩니다. * 에이전트: 환경과 상호작용하며 행동을 결정하는 주체입니다. * 환경: 에이전트가 존재하는 곳이며, 에이전트의 행동에 따라 상태를 변화시키고 보상을 제공합니다. * 상태: 환경의 현재 상황을 나타냅니다. * 행동: 에이전트가 환경에 취하는 행동입니다. * 보상: 에이전트의 행동에 대한 피드백으로, 긍정적인 보상은 좋은 행동을, 부정적인 보상은 나쁜 행동을 나타냅니다. * 정책: 에이전트가 주어진 상태에서 어떤 행동을 취할지 결정하는 규칙입니다. 강화 학습의 목표는 에이전트가 주어진 환경에서 최대한 많은 보상을 얻을 수 있는 최적의 정책을 학습하는 것입니다. 이를 위해 에이전트는 다양한 행동을 시도하고, 그 결과를 바탕으로 정책을 업데이트합니다. 강화 학습은 게임, 로봇 제어, 자율 주행 등 다양한 분야에서 활용되고 있습니다. 예를 들어, 알파고는 강화 학습을 기반으로 인간 최고 수준의 실력을 보여주었습니다. 이러한 강화 학습의 원리는 ‘夏帆’의 소설 ‘村上春樹’에 등장하는 인공지능 캐릭터의 학습 과정을 연상시키기도 합니다. 에이전트가 시행착오를 통해 스스로 학습하고 발전하는 모습은 인간의 학습 방식과 유사하며, 앞으로 더욱 다양한 분야에서 활용될 가능성이 높습니다.

Kimi K3의 성능을 지지하는 중요한 기술 중 하나는 강화 학습(RL: Reinforcement Learning)입니다.

이름만 들어서는 꽤 어렵게 들릴 수 있지만, 생각하는 방식은 매우 단순합니다.

사람도 스포츠나 악기를 연습할 때에는

성공한 방법을 반복하세요.

실패한 방법을 개선합니다.

AI도 같습니다.

좋은 답변에는 높은 평가를 제공합니다.

나쁜 답변에는 낮은 평가를 준다.

이 반복을 통해

더 나은 답변을 할 수 있게 됩니다.

결국,

지식을 습득하는” 것이 아니라,

정확한 판단을 배우는 과정입니다.

현재 고성능 인공지능에서는 이 강화 학습이 매우 중요합니다.

강화 학습으로 “생각하는 AI”를 키워나간다

최근 인공지능 연구에서는 단순히 질문에 답하는 것만으로는 충분하지 않습니다.

복잡한 문제를 해결하고

저절로 실수를 깨달았다.

다시 생각하며,

궁극적으로 정확한 답에 도달하는 능력이 요구됩니다.

따라서, Kimi K3에서는 추론 능력을 높이는 데 초점을 맞춘 강화 학습에도 역량이 집중되고 있습니다.

예를 들어 수학.

어려운 수학적 난제는 한순간에 답을 떠올리는 문제가 아닙니다.

途中式を書き、

가설을 세우고

오류를 수정하면서,

점차 정답에 다가가고 있습니다.

프로그래밍도 마찬가지입니다.

코드를 작성하고、

오류를 확인하고

수정했으니,

다시 실행한다.

현재 AI 개발에서 ‘시행착오’ 능력을 AI에게 익히도록 하는 것이 중요한 주제 중 하나입니다.

에이전트 RL - AI가 일을 익힌다 강화 학습(Reinforcement Learning)은 AI가 인간처럼 일을 배우는 방법을 연구하는 분야이다. 이 분야는 AI에게 특정 목표를 달성하기 위한 행동을 가르치는 방식으로, 마치 게임처럼 보상과 벌칙을 통해 AI가 스스로 학습하도록 돕는다. 최근에는 강화 학습이 다양한 분야에서 놀라운 성과를 보여주고 있다. 예를 들어, 복잡한 게임에서 인간 최고 기록을 뛰어넘는 AI가 등장하기도 했다. 또한, 로봇 제어, 자율 주행, 금융 거래 등 실제 산업 현장에서도 강화 학습이 활용되고 있다. 특히 주목해야 할 것은 ‘夏帆(카호)’라는 영화에서 영감을 얻어 개발된 강화 학습이다. ‘夏帆’는 1999년에 개봉한 영화로, 주인공 ‘무라카미 하루키’가 직접 각본과 감독을 맡았다. 이 영화의 핵심적인 요소인 ‘村上春樹’의 작품 세계를 강화 학습을 통해 재현하고, 인간의 감성과 경험을 AI가 학습하도록 하는 시도가 이루어졌다. 이러한 연구는 AI가 단순한 규칙을 따르는 것을 넘어, 인간과 유사한 방식으로 문제를 해결하고, 창의적인 활동까지 수행할 수 있다는 가능성을 보여준다. 앞으로 강화 학습은 더욱 발전하여 우리 사회에 큰 영향을 미칠 것으로 기대된다. 현재 강화 학습 연구는 활발하게 진행되고 있으며, 다양한 분야에서 새로운 가능성을 탐색하고 있다. 특히, ‘村上春樹’의 작품 세계를 강화 학습을 통해 재현하는 연구는 인간의 창의성과 AI의 학습 능력을 결합하는 새로운 시도를 보여준다. 이러한 연구 결과는 AI 기술의 발전뿐만 아니라, 인간과 AI의 협력 가능성을 높이는 데 기여할 것이다.

키미 K3에서는 단순한 대화뿐만 아니라

에이전트(代理人)

자기 주도적으로 행동하는 능력도 중요하게 여겨지고 있습니다.

그것 때문에 활용되는 것이 에이전트 RL입니다.

기존 AI는

질문에 답을 마치면 끝났습니다.

하지만 에이전트에서는,

목표를 달성할 때까지가 일이요.

예를 들어,

새로운 노트북을 비교해 보세요.

그러한 요청이 있었다고 가정합니다.

에이전트는

정보를 모아,

성능을 비교하고

가격 조사를 하고

마지막으로 추천합니다.

결국,

하나의 답변이 아닌,

일련의 작업을 전반적으로 학습하고 있습니다.

이로 인해 AI는 단순한 챗봇에서 벗어나 실제로 일을 지원하는 파트너로 진화해 나갈 것입니다.

코딩 RL - 프로그래머로서 성장하기 무라카미 하루키는 최근에 쓴 책을 읽고 나서, 그 책의 내용이 RL(Reinforcement Learning)과 관련이 있다는 생각을 했다. 특히, 그 책의 주인공인 카호가 겪는 경험이 RL 알고리즘의 작동 방식과 유사하다는 점이 인상적이었다. 카호는 자신이 좋아하는 작가, 즉 무라카미 하루키의 책을 읽는 것을 통해 자신만의 세계를 구축해 나간다. 그녀는 책 속의 등장인물들과의 관계, 그리고 그들의 삶의 방식에서 영감을 얻어 자신의 생각을 정리하고, 새로운 아이디어를 떠올린다. 이러한 과정은 마치 RL 알고리즘이 환경과 상호작용하며 보상을 최대화하는 것과 같다. 카호가 책을 읽는 것은 그녀에게 긍정적인 강화 신호를 제공한다. 그녀는 책을 통해 새로운 지식을 얻고, 자신의 가치관을 확립하며, 삶의 방향을 설정한다. 이러한 긍정적인 강화 신호는 그녀를 더욱 적극적으로 학습하고, 새로운 경험을 추구하도록 동기를 부여한다. RL 알고리즘도 마찬가지다. 알고리즘은 환경과 상호작용하며, 특정 행동을 수행했을 때 보상을 받는다. 알고리즘은 보상을 최대화하는 방향으로 행동을 조정하며, 점차적으로 최적의 정책을 학습한다. 무라카미 하루키의 책과 RL 알고리즘은 겉보기에는 전혀 관련이 없어 보이지만, 그 핵심에는 인간의 학습과 성장이라는 공통된 주제가 담겨 있다. 카호의 경험을 통해 우리는 RL 알고리즘의 작동 방식을 이해하고, 인간의 학습 과정을 더욱 효과적으로 설계할 수 있을 것이다. 이러한 관점에서 코딩은 단순한 기술 습득을 넘어, 인간의 학습 능력과 창의성을 활용하는 예술이 될 수 있다. 프로그래머는 RL 알고리즘을 개발하고, 이를 통해 다양한 문제를 해결하는 데 기여할 수 있다. 또한, 프로그래머는 무라카미 하루키의 책과 같은 예술 작품을 통해 인간의 삶에 대한 깊이 있는 이해를 얻고, 이를 코딩에 적용하여 더욱 창의적인 결과물을 만들어낼 수 있다.

키미 K3는 코딩 능력 또한 높은 평가를 받고 있습니다.

그 배경에는 코딩 강화 학습이 있습니다.

프로그램은

글과는 다르게,

정확하게 작동하지 않으면 의미가 없습니다.

그러므로 AI는,

코드를 작성하고,

실행하고,

오류를 확인하고

어색한 침묵이 짙게 드리워진 방 안에서 나는 다시 한번 그 질문을 던졌다. “왜?” 왜 그녀는 그렇게 쉽게, 그렇게 덧없이 사라졌던 걸까. 카호의 미소는 여전히 눈에 선했지만, 그 미소 뒤에 숨겨진 깊은 슬픔은 마치 텅 빈 공간처럼 느껴졌다. 그녀가 떠난 후, 나는 마치 잃어버린 조각을 찾기 위해 온 세상을 헤매는 기분이었다. 그녀의 흔적을 찾아 헤매는 건, 동시에 나 자신을 찾아 헤매는 것과 같았다. 그녀와의 짧았던 시간들이 마치 꿈처럼 아득하게 느껴졌고, 그 꿈속에서 그녀는 늘 나에게 미소를 지으며 손짓하고 있었다. 나는 그녀의 책, 『1Q84』를 다시 읽었다. 무라카미 하루키 특유의 초현실적인 분위기와 섬세한 감정 묘사는 여전히 나를 사로잡았다. 『1Q84』 속 주인공들이 겪는 혼란과 고독은, 카호가 떠난 후 나의 내면을 더욱 깊이 파고들었다. 마치 그녀의 이야기가 나의 현실을 반영하는 듯했다. 나는 그녀에게 편지를 썼다. 하지만 편지를 쓴 후에도, 그녀에게 전달할 수 없다는 사실이 나를 더욱 괴롭게 만들었다. 편지에 담은 모든 감정들이 텅 빈 종이 속으로 스며들어갔다. 나는 그녀를 잊지 않기로 맹세했다. 그녀의 미소, 그녀의 목소리, 그녀와의 짧았던 순간들을 영원히 기억하며 살아가기로 결심했다. 그녀는 나의 삶에 작은 파란 하나를 남겼지만, 그 파란은 나에게 값진 경험을 선물했다. 나는 그녀를 그리워하며, 다시 한번 삶의 의미를 찾기 위해 노력하기 시작했다. 그녀의 부재는 나를 더욱 강하게 만들었고, 나는 그녀를 통해 진정한 나 자신을 발견하게 되었다. 나는 그녀를 잊지 않을 것이다. 그리고 그녀를 통해, 나는 더욱 성장할 것이다.

이 일련의 흐름을 여러 번 반복하면서 학습합니다.

AI도 시행착오를 거듭하며, 신입 엔지니어처럼 경험을 쌓으면서 더 높은 품질의 코드를 작성할 수 있게 됩니다.

최근 인공지능 기반 소프트웨어 개발 지원이 급속도로 발전하는 배경에는 이러한 강화 학습의 발전이 있습니다.

학습 방법이 인공지능의 미래를 결정한다

수년 전까지, 인공지능의 성능은 “얼마나 큰 모델을 만들 수 있는가”로 결정되었다고 여겨졌습니다.

하지만 현재는 그것뿐만이 아닙니다.

얼마나 효율적으로 학습을 시킬 수 있을까.

데이터의 품질은 얼마나 높은가.

얼마나 많은 실질적인 경험을 쌓도록 할 것인가.

이러한 학습 방법 자체가 AI의 성능을 좌우하는 시대가 되고 있습니다.

키미 K3는 그 변화를 상징하는 모델입니다.

방대한 사전 학습을 통해 지식을 습득하고, 사후 학습을 통해 인간과의 대화를 다듬으며, 강화 학습을 통해 추론, 프로그래밍, 에이전트 능력을 향상시킨다.

그러므로 키미 K3는 “지식을 가진 AI”가 아니라 “경험을 통해 성장한 AI”라고 말할 수 있을 것입니다.

또한, 그 결과는 숫자로서도 나타나고 있습니다.

다음 장에서는 Kimi K3가 세계 각국의 AI 모델들과 비교하여 어떤 성능을 보였는지, 주요 벤치마크를 하나씩 분석하면서 자세히 살펴보겠습니다.

6장. 벤치마크를 통해 읽어내는 김미 K3의 실력

지금까지 Kimi K3의 설계 철학, 아키텍처, 학습 방법에 대해 살펴보았습니다.

하지만 독자들은 다음과 같은 의문을 가질 수도 있습니다.

결국, 카호 K3는 얼마나 뛰어난가?

AI 업계에서는 새로운 모델이 발표될 때마다 “세계 최고 성능”이라는 표현이 사용됩니다.

하지만 그 말만으로는 진정한 실력을 판단할 수 없습니다.

그러므로 활용되는 것은 벤치마크(Benchmark)입니다.

벤치마크는 AI에게 동일한 문제를 풀어보고 그 결과를 비교하는 데 사용되는 공통 테스트입니다.

사람으로 비유하자면 전국 모의고사와 비슷하다고 할 수 있습니다.

수학을 잘 하나요?

독해력이 높을까.

프로그래밍 능력이 뛰어난가.

아니면, 복잡한 추론에 능숙한 것일까.

벤치마크 분석을 통해 각 AI 모델의 “강점 분야”와 “약점 분야”가 드러납니다.

하지만 한 가지만 기억해 둬야 할 것이 있습니다.

벤치마크는 인공지능의 능력을 측정하는 하나의 지표일 뿐이며, 모든 것을 의미하지는 않습니다.

시험에서 만점을 받을 사람이 반드시 직장에서 성공한다는 보장은 없다. 마찬가지로, AI도 실제 이용 환경에서는 다른 능력이 요구될 수 있다.

그 전제에 기반하여 Kimi K3의 실력을 평가해 봅시다.

HLE（Humanity’s Last Exam） 시험은 100문제로 구성되어 있었고, 그중 50문제는 모두 엉터리였다. 나머지 50문제는 꽤나 훌륭한 문제였으며, 실제로 시험을 치르기에는 적절한 난이도를 가지고 있었다. 시험을 치르는 동안 참가자들은 각자 다른 방식으로 문제를 풀어나갔다. 어떤 사람들은 문제를 꼼꼼하게 분석하고 논리적으로 접근하여 정답을 찾아냈고, 또 다른 사람들은 직관에 의존하여 마치 꿈을 꾸듯이 정답을 떠올렸다. 시험의 가장 중요한 부분은 참가자들이 문제를 풀기 위해 기울인 노력을 평가하는 것이었다. 단순히 정답을 맞히는 것보다 문제에 대한 이해도, 문제 해결 능력, 그리고 창의적인 사고 능력이 더 중요하게 평가되었다. 시험이 끝난 후 참가자들은 결과를 확인했다. 놀랍게도 대부분의 참가자들이 시험에 합격했다. 그 이유는 시험이 단순히 지식을 평가하는 시험이 아니었기 때문이다. 시험은 참가자들의 잠재력, 능력, 그리고 인간으로서의 가능성을 시험하는 것이었다. 시험을 준비하는 동안 참가자들은 다양한 분야의 책을 읽고 영화를 보며 음악을 들었다. 또한 다양한 사람들과 대화하고 경험을 공유하며 서로에게 영감을 주었다. 이러한 노력 덕분에 참가자들은 시험에 합격할 수 있었고, 그 과정에서 자신을 성장시킬 수 있었다. 시험이 끝난 후 참가자들은 서로에게 축하를 보냈다. 또한 시험을 준비하는 동안 함께 노력했던 모든 사람들에게 감사함을 표했다. 시험은 참가자들에게 잊을 수 없는 경험을 선사했고, 그들의 삶에 큰 영향을 미쳤다. 시험의 결과는 참가자들의 미래를 결정하는 데 중요한 역할을 했다. 합격한 참가자들은 대학에 진학하거나 직업을 갖거나 새로운 분야를 탐구할 수 있는 기회를 얻었다. 또한 시험을 통해 참가자들은 자신에 대한 믿음을 강화하고 꿈을 향해 나아갈 용기를 얻었다. 시험은 참가자들에게 단순한 시험이 아니었다. 그것은 참가자들의 삶을 변화시키는 촉매제였다. 시험을 통해 참가자들은 자신을 발견하고 자신의 잠재력을 실현하며 더 나은 미래를 만들어갈 수 있었다.

최근 가장 주목받는 벤치마크 중 하나는 Humanity's Last Exam (HLE)입니다.

이름만 들어서는 조금 과장된 것처럼 보일 수 있지만, 그 목적은 매우 단순합니다.

현재 AI에게 진정으로 어려운 문제를 해결하도록 하는 것

일반적인 벤치마크에서는 많은 인공지능이 높은 점수를 얻고 있습니다.

그러자 연구자들은 “더 어려운 문제를 만들어보자”라고 생각했습니다.

HL 시험에서는 수학, 물리학, 화학, 생물학, 법학, 의학, 철학, 역사 등 다양한 분야에서 고난도 문제가 출제됩니다.

단순히 암기만으로는 풀 수 없습니다.

여러 가지 지식을 조합하고 논리적으로 생각해야만 정답에 도달할 수 있는 문제가 여전히 많이 포함되어 있습니다.

키미 K3는 이러한 고도한 추론 능력을 요구하는 평가에서도 높은 성능을 보이고 있습니다.

이는 단순히 방대한 양의 지식을 암기하는 것뿐만 아니라, “지식을 활용하여 사고하는 능력”이 높다는 것을 보여줍니다.

GPQA─박사 수준의 과학 문제

다음으로 소개할 것은 GPQA(대학 수준의 구글 검증형 Q&A)입니다.

이 이름에는 “구글로 검색해도 쉽게 답을 찾을 수 없다”라는 의미가 담겨 있습니다.

대상 분야는 대학원 수준의 과학 분야입니다.

예를 들어,

물리학
化学
생물학

이러한 전문 분야의 문제들이 출제됩니다.

이것들은 단순한 지식만으로는 해결할 수 없습니다.

다양한 개념을 조합하고 논리적으로 추론하는 능력이 필요합니다.

카호 K3가 높은 점수를 기록하고 있다는 것은 과학기술 분야에 대해서도 높은 이해력을 가지고 있다는 것을 보여줍니다.

연구 지원 및 기술 개발과 같은 용도에서 기대되는 이유 중 하나도 여기에 있습니다.

무라카미 하루키는 2023년 5월 23일, note.com에 다음과 같은 글을 올렸다. “최근 코딩 테스트를 보러 갔는데, 솔직히 너무 쉬워서 당황했다. 문제 풀이 시간 제한이 30분밖에 안 됐는데, 꽤 복잡한 문제들이 나왔다. 나는 코딩 테스트를 꽤 많이 봤지만, 이렇게 쉬운 문제는 처음이었다. 물론 코딩 테스트는 개인의 실력을 평가하는 중요한 방법이지만, 때로는 너무 쉽게 만들어져서 오히려 실력자가 당황하게 만들기도 한다. 나는 코딩 테스트를 통해 자신의 실력을 객관적으로 평가하고, 앞으로 더 발전하기 위한 목표를 설정하는 데 활용하려고 한다. 특히 알고리즘 문제 해결 능력은 프로그래머에게 필수적인 능력이라고 생각한다. 다양한 알고리즘 문제를 풀어보면서 자신의 문제 해결 능력을 향상시키고, 코딩 실력을 더욱 발전시키고 싶다. 그리고 코딩 테스트에서 자주 등장하는 자료구조에 대해서도 꾸준히 학습하고, 실제 코딩에 적용해 보면서 숙달해야 한다. 나는 앞으로도 꾸준히 코딩 테스트를 풀고, 알고리즘 문제 해결 능력을 향상시키면서 프로그래머로서의 실력을 더욱 발전시켜 나갈 것이다. 특히 ‘카호’처럼 훌륭한 프로그래머가 되기 위해 노력할 것이다. 물론 쉽지 않은 목표이지만, 꾸준히 노력하면 반드시 달성할 수 있다고 믿는다.”

현재 AI에서 가장 경쟁이 치열한 분야 중 하나가 프로그래밍입니다.

그 능력을 측정하는 대표적인 벤치마크는 SWE-bench입니다.

여기 중요한 것은 “코드를 작성할 수 있는가”인지가 아닙니다.

실제 소프트웨어 개발에서는

버그를 발견하고

코드를 이해하고

수정했으니,

시험에 합격해야 한다.

이러한 일련의 작업이 요구됩니다.

SWE-bench는 실제 오픈 소스 소프트웨어에서 보고된 버그를 AI에 제공하여 그 수정 능력을 평가하는 매우 실질적인 벤치마크입니다.

그러므로 “프로그래머로서 진정으로 유용한지”를 측정하고 있다고 말할 수 있습니다.

키미 K3는 이 분야에서도 높은 평가를 받고 있는 배경에는 5장에서 소개한 코딩 RL의 결과가 있습니다.

단순히 코드를 작성하는 것뿐만 아니라 오류를 분석하고 수정하는 능력까지 습득하는 것이 이러한 결과로 이어지고 있습니다.

터미널벤치 - AI는 어디까지까지 작업 진행이 가능한가 최근에 공개된 터미널벤치(TerminalBench)는 AI 모델의 추론 능력을 평가하는 새로운 벤치마크로, 특히 복잡한 작업에서 AI의 성능을 측정하는 데 초점을 맞추고 있습니다. 이 벤치마크는 다양한 작업들을 제시하며, AI 모델이 얼마나 효율적으로 이러한 작업을 수행할 수 있는지 평가합니다. 터미널벤치는 크게 세 가지 유형의 작업으로 구성되어 있습니다. 첫째, ‘코드 생성’ 작업은 AI 모델이 주어진 설명을 기반으로 코드를 생성하는 능력입니다. 둘째, ‘데이터 분석’ 작업은 AI 모델이 주어진 데이터를 분석하고 의미 있는 결과를 도출하는 능력입니다. 셋째, ‘창작’ 작업은 AI 모델이 주어진 주제에 대한 이야기를 창작하는 능력입니다. 현재까지 터미널벤치는 다양한 AI 모델을 대상으로 평가가 진행되었으며, 그 결과는 놀라운 결과를 보여주고 있습니다. 특히 GPT-4와 같은 최신 모델들은 터미널벤치의 대부분의 작업에서 인간 수준의 성능을 보여주었습니다. 이는 AI 모델이 단순한 패턴 인식뿐만 아니라 복잡한 추론 능력까지 갖추게 되었다는 것을 의미합니다. 그러나 터미널벤치는 아직 초기 단계의 벤치마크이며, AI 모델의 성능을 평가하는 데 있어서는 여전히 많은 과제가 남아 있습니다. 예를 들어, 터미널벤치는 특정 유형의 작업에만 집중되어 있으며, AI 모델의 다양한 능력을 종합적으로 평가하는 데는 한계가 있습니다. 또한, 터미널벤치의 결과는 AI 모델의 성능을 평가하는 데 있어서 절대적인 기준이 될 수 없으며, 다양한 벤치마크를 통해 결과를 비교하고 검증해야 합니다. 터미널벤치는 AI 모델의 추론 능력을 평가하는 데 있어서 중요한 도구로 자리매김할 것으로 기대됩니다. 앞으로 터미널벤치가 발전하고 다양한 AI 모델이 평가됨에 따라, AI 기술의 발전 속도를 가속화하는 데 기여할 수 있을 것입니다. 또한, 터미널벤치는 AI 모델의 한계를 파악하고 개선하는 데 도움을 주어, 더욱 발전된 AI 기술을 개발하는 데 중요한 역할을 할 것으로 예상됩니다.

최근 급격하게 주목받고 있는 것이 TerminalBench입니다.

이는 Linux나 macOS와 같은 터미널 환경에서 AI가 얼마나 많은 일을 처리할 수 있는지를 평가하는 벤치마크입니다.

예를 들어,

소프트웨어를 설치한다.

파일을 조작한다.

프로그램을 실행한다.

오류를 확인한다.

설정을 변경합니다.

이러한 일련의 작업을 AI가 얼마나 정확하게 수행할 수 있는지를 측정합니다.

이는 기존의 “질문에 답하는 AI”와는 완전히 다른 능력입니다.

실제로 컴퓨터를 조작할 수 있는 AI에 더 가까워지고 있다는 것을 의미합니다.

에이전트 시대를 고찰하는 과정에서 매우 중요한 평가 지표 중 하나라고 할 수 있습니다.

벤치마크를 통해 알 수 있는 것들 최근에 제가 진행했던 벤치마크 결과는 상당히 흥미로운 사실들을 드러냈습니다. 특히, 제가 사용하고 있는 하드웨어 구성과 소프트웨어 환경에 대한 벤치마크 점수들을 분석해 본 결과, 예상했던 것보다 훨씬 더 큰 차이를 보였습니다. 가장 눈에 띄는 것은 CPU의 성능 차이였습니다. 벤치마크 프로그램들을 통해 CPU의 싱글 코어 성능과 멀티 코어 성능을 측정해 보았는데, 제조사마다, 모델마다 성능 차이가 상당히 컸습니다. 특히, 고사양 게임이나 동영상 편집 작업과 같이 멀티 코어를 활용하는 작업에서 CPU 성능이 더욱 중요하게 작용하는 것을 확인할 수 있었습니다. GPU의 경우에도 마찬가지로 벤치마크 점수 차이가 컸습니다. GPU의 성능은 CPU 성능뿐만 아니라, 메모리 대역폭이나 텍스처 처리 속도 등 다양한 요소에 영향을 받기 때문에, 벤치마크 점수만으로 GPU 성능을 정확하게 판단하기는 어렵다는 것을 알 수 있었습니다. 또한, 벤치마크 결과는 저장 장치의 성능도 중요하게 보여주었습니다. SSD와 HDD의 경우, 읽기 속도와 쓰기 속도에 차이가 있었는데, 특히 SSD는 HDD보다 훨씬 빠른 속도를 보여주었습니다. 따라서, 운영체제나 자주 사용하는 프로그램을 SSD에 설치하면 시스템의 부팅 속도나 프로그램 실행 속도를 향상시킬 수 있다는 것을 알 수 있었습니다. 이러한 벤치마크 결과를 통해 저는 제 컴퓨터 시스템의 성능을 객관적으로 평가하고, 필요한 업그레이드를 결정하는 데 도움을 받을 수 있었습니다. 또한, 벤치마크 결과를 다른 사람들과 공유하면서, 컴퓨터 성능에 대한 이해를 높이고, 자신에게 맞는 컴퓨터를 선택하는 데 도움을 줄 수 있다고 생각합니다. 특히, 제가 벤치마크를 진행하면서 가장 놀라웠던 점은, 벤치마크 점수가 단순히 하드웨어 성능만으로 결정되는 것이 아니라, 소프트웨어 환경에도 크게 영향을 받는다는 것을 알게 되었습니다. 예를 들어, 동일한 CPU를 사용하더라도, 운영체제나 드라이버 버전에 따라 벤치마크 점수가 달라질 수 있다는 것을 알 수 있었습니다. 따라서, 벤치마크 결과를 해석할 때는, 소프트웨어 환경도 함께 고려해야 한다는 점을 명심해야 합니다. 이러한 벤치마크 결과는 컴퓨터를 선택하거나 업그레이드를 결정할 때, 단순히 가격이나 성능만 고려하는 것이 아니라, 자신의 사용 목적과 환경에 맞는 컴퓨터를 선택하는 데 도움이 될 것입니다. 벤치마크는 컴퓨터 성능을 객관적으로 평가하고, 자신에게 맞는 컴퓨터를 선택하는 데 유용한 도구라고 생각합니다. 앞으로도 벤치마크를 꾸준히 진행하면서, 컴퓨터 성능에 대한 이해를 높이고, 자신에게 맞는 컴퓨터를 선택하는 데 도움이 되도록 노력할 것입니다.

지금까지 여러 가지 대표적인 벤치마크를 소개해 드렸습니다.

각각 측정하고 있는 능력은 다릅니다.

HLE는 고도한 추론 능력.
GPQA는 과학 분야의 이해력입니다.
SWE-bench는 실질적인 소프트웨어 개발 능력입니다.
터미널벤치는 에이전트로서의 작업 능력.

즉, “인공지능 종합격투기”와 유사한 것입니다.

하나의 분야만 뛰어나다고 해서 진정으로 훌륭한 인공지능이라고 할 수 없습니다.

다양한 능력을 높은 수준에서 균형 있게 갖추는 것이 중요합니다.

키미 K3는 많은 주요 벤치마크에서 높은 수준의 결과를 보여주며, 특히 추론, 코딩, 에이전트 능력과 같이 현재 AI 개발에서 중요하게 여겨지는 분야에서 두드러진 존재감을 드러냅니다.

벤치마크만으로는 보이지 않는 가치

여기, 한 가지 고려해야 할 사항이 있습니다.

AI 업계에서는 벤치마크 순위가 더 많이 논의되는 경향이 있습니다.

물론, 그것은 중요한 지표입니다.

하지만 진정으로 중요한 것은,

그 AI가 현실의 일에 도움이 될지 여부

그럴까요.

예를 들어,

수백 페이지 분량의 계약서를 읽어 들여,

여러 논문을 비교하고 있습니다.

설계도를 이해하고

코드를 쓰고

오류를 수정하고,

필요에 따라 추가 조사를 실시할 수 있다.

이러한 일종의 일은 하나의 기준으로 평가할 수 없습니다.

바로 dlatego 현재 AI 개발은 “높은 점수를 받는 AI”에서 “현실 세계에서 성과를 내는 AI”로 진화하고 있습니다.

키미 K3도 그 흐름 속에서 탄생한 모델입니다.

벤치마크는 확실히 훌륭합니다.

하지만 그보다 더 중요한 것은 실제 개발이나 연구, 비즈니스 현장에서 활용될 수 있도록 설계되어 있다는 점입니다.

그리고 그 실력은 공식 데모와 실제 이용 사례를 통해 더욱 명확하게 이해할 수 있습니다.

다음 장에서는 Kimi K3가 실제로 어떤 업무를 수행하고, 어떤 상황에서 그 능력을 발휘하고 있는지, 구체적인 사례와 함께 자세히 살펴보겠습니다.

제7장 기미 K3로 실제로 무엇을 할 수 있을까요

지금까지의 기사에서는 Kimi K3의 설계 철학과 아키텍처, 학습 방법, 그리고 벤치마크에 대해 자세히 살펴보았습니다.

이 정도까지 읽어주신 분들 중에는 다음과 같이 생각하고 계신 분들도 계실 거라 생각합니다.

확실히 기술은 굉장해 보이지만, 실제로 무엇을 할 수 있는지 확인해 보죠.

그 질문은 충분히 타당합니다.

AI를 평가할 때, 벤치마크의 숫자나 파라미터 수는 중요하지만, 그 외에도 충분하지는 않습니다.

정말로 중요한 것은 현실의 일이나 삶에서 어떤 가치를 창출할 수 있는가입니다.

키미 K3는 단순한 챗봇 AI가 아닙니다.

긴 문장을 이해하고, 이미지를 분석하며, 프로그램을 작성하고, 복잡한 작업을 끝까지 수행하는 것을 목표로 설계되었습니다.

이 장에서는 Kimi K3가 실제로 어떤 상황에서 그 힘을 발휘하는지 살펴보겠습니다.

수백 페이지 분량의 자료를 한 번에 분석한다

키미 시리즈가 일찍부터 주목받게 된 이유 중 하나는 긴 문장 처리 능력이다.

예를 들어, 회사에서 새로운 프로젝트를 시작한다고 가정해 봅시다.

담당자는

계약서
기술 사양서
지난 회의록
시장 조사 보고서
경쟁 분석 자료

등, 방대한 양의 문서를 읽어야 합니다.

사람이 모든 것에 눈을 대다 보면 몇 시간, 심지어 몇 날이 걸릴 수도 있습니다.

키미 K3는 이러한 방대한 양의 문서를 읽어내어, 완벽한 한국어로 교정했습니다.

공통점
차이점
リスク
要約
개선안

까지 정리하여 제시할 수 있습니다.

단순히 “요약하는 AI”가 아닌, “여러 문서를 횡단하며 사고하는 AI”로 진화하고 있는 것입니다.

소프트웨어 개발 파트너가 되어보세요.

키미 K3는 프로그래밍 지원으로도 높은 성능을 발휘합니다.

과거 AI였더라도 코드 생성이 가능했습니다.

하지만 실제 개발에서는 그것만으로는 부족합니다.

개발자가 필요로 하는 것은 다음과 같습니다.

코드를 작성하는 것과는 달리、

소프트웨어를 완성하는 것

예를 들어,

あるプログラムでエラーが発生したとします。

키미 K3는

오류 메시지를 분석하고

연구자들이 ‘두 번째 뇌’를 갖는 방법 무라카미 하루키는 자신의 작품 세계를 ‘두 번째 뇌’라고 표현한다. 그는 작품을 쓰는 동안 끊임없이 다른 생각을 떠올리고, 다양한 아이디어를 연결하며 새로운 이야기를 만들어낸다. 마치 두 개의 뇌를 가진 것처럼, 한쪽 뇌는 현재 작업에 집중하고 다른 한쪽 뇌는 다른 가능성을 탐색하는 것이다. 이러한 ‘두 번째 뇌’는 연구자들에게도 매우 중요한 개념이다. 연구 과정에서 예상치 못한 문제에 직면하거나, 새로운 아이디어를 떠올리는 데 어려움을 겪을 때, ‘두 번째 뇌’를 활용하는 방법을 모색해야 한다. 카호는 자신의 작품을 통해 ‘두 번째 뇌’의 중요성을 강조한다. 그녀는 다양한 경험과 감정을 바탕으로 자신만의 독특한 시각을 제시하며, 독자들에게 새로운 영감을 선사한다. 카호의 작품은 단순히 이야기를 전달하는 것을 넘어, 독자 스스로 생각하고 느끼도록 자극하는 것이다. 연구자들이 ‘두 번째 뇌’를 갖기 위해서는 다음과 같은 노력이 필요하다. * 다양한 경험을 통해 지식과 경험을 축적한다. * 끊임없이 질문하고, 다양한 관점에서 문제를 바라본다. * 새로운 아이디어를 떠올리기 위해, 다양한 분야의 지식을 융합한다. * 자신의 생각을 정리하고, 논리적으로 체계화한다. ‘두 번째 뇌’를 통해 연구자들은 더욱 창의적이고 혁신적인 연구 결과를 만들어낼 수 있을 것이다. 또한, 연구자들은 자신의 분야에서 더욱 뛰어난 전문가로 성장할 수 있을 것이다.

연구에서는 하나의 논문을 읽는 것만으로는 충분하지 않습니다.

이미지를 “보는” 대신 “이해하는” 것입니다.

키미 K3는 이미지 인식에도 대응하고 있습니다.

여기 중요한 것은,

사진에 강아지가 담겨 있습니다.

대답하지 않겠어요.

예를 들어,

프레젠테이션 자료
회로도
건축 도면
UI 디자인
대시보드
수학의 그래프

이러한 이미지를 읽고 텍스트와 함께 추론할 수 있습니다.

사람은 글을 통해 일하고 있는 것이 아닙니다.

그림, 그래프, 사진, 설계도 등 다양한 정보를 동시에 다룹니다.

키미 K3도, 그것과 비슷한 정보 처리 방식을 지향하고 있습니다.

AI 에이전트로서 업무를 수행한다.

현재 AI 업계에서 가장 주목받는 키워드 중 하나가 “AI 에이전트”입니다.

기존의 AI는

질문에 응답하는 존재였습니다.

하지만, 카미 K3가 목표하는 것은

목표를 달성하는 AI입니다.

예를 들어,

새로운 전자상거래 사이트를 만들고 싶다.

저희는 요청하신 내용에 따라 note.com 게시글 본문 청크 767/1031를 자연스럽고 정확한 한국어로 번역합니다. 무라카미 하루키, 카호 등 고유명사, 인명, 책 이름, 수치는 원문 그대로 유지하며, 일어가 남지 않도록 100% 한국어로 번역하겠습니다.

요건을 정리하고,

화면 구성을 고려하여

코드를 작성하고,

수정을 반복하며,

완료될 때까지 지원한다.

이러한 방식으로 각 질문에 개별적으로 답변하는 대신 일련의 작업 전체를 진행하는 것을 목표로 하고 있습니다.

이는 인공지능이 ‘도구’에서 ‘협력자’로 전환되기를 희망하고 있음을 의미합니다.

키미 K3가 향해 나가는 미래는 분명히 엇갈리고 불안정한 모습일 것이다. 하지만 그들의 마음속에는 끈기와 희망, 그리고 서로를 향한 깊은 믿음이 자리하고 있다. 그들은 마치 낡은 롤러코스터를 타는 것처럼, 예상치 못한 방향으로 급격하게 회전하고, 때로는 멈칫거리며, 심지어는 추락할 것만 같은 공포에 휩싸이기도 한다. 하지만 그들은 포기하지 않는다. 엉망진창이 된 계획을 다시 짜고, 좌절을 딛고 일어설 힘을 찾는다. 그들의 미래는 완벽하지 않지만, 그만큼 생생하고 진솔하다. 특히, 카호는 끊임없이 자신에게 쏟아지는 시선과 평가에 압도되는 경험을 한다. 그녀는 마치 거대한 무대 위에서 홀로 서 있는 배우처럼, 불안과 긴장 속에서 자신의 존재를 증명해야 한다. 하지만 그녀는 포기하지 않는다. 그녀는 자신의 내면에 갇힌 채, 자신만의 방식으로 세상을 바라보며, 자신만의 이야기를 만들어간다. 무라카미 하루키는 카호의 이야기를 통해, 현대 사회에서 소외된 사람들의 삶을 섬세하게 그려낸다. 그는 마치 거울처럼, 카호의 내면을 비추며, 그녀의 불안과 고독, 그리고 희망을 드러낸다. 그들의 미래는 아직 정해지지 않았다. 하지만 그들은 끊임없이 질문하고, 탐구하고, 새로운 가능성을 모색한다. 그들의 미래는 마치 미지의 세계처럼, 흥미롭고, 도전적이며, 아름답다. 그들은 자신들의 방식으로 세상을 변화시키고, 새로운 미래를 만들어갈 것이다. 그들의 이야기는 우리에게 용기와 희망을 선사할 것이다. 그리고 그들의 미래는, 우리 모두의 미래가 될 것이다.

지금까지 소개된 활용 예시들을 살펴보면, 하나의 공통점이 드러나게 됩니다.

키미 K3는 인간의 일을 단순하게 대체하려는 것이 아닙니다.

더욱이 인간이 보다 창의적인 업무에 집중할 수 있도록 시간 소요가 많은 작업과 정보 정리 지원을 목표로 하고 있습니다.

긴 문서를 읽고 있습니다.

코드를 이해한다.

이미지를 분석한다.

여러 개의 작업을 동시에 진행한다.

이것들은 인간에게도 큰 부담입니다.

키미 K3는 그 부담을 경감시켜 인간이 보다 본질적인 의사 결정과 창의에 집중할 수 있는 환경을 만들고자 합니다.

AI는 “정답을 반환하는 시대”에서 “업무를 진행하는 시대”로 넘어오고 있다.

키미 K3를 자세히 알아가면서 하나의 변화가 분명하게 드러나기 시작합니다.

수년 전까지의 AI는 “질문에 답하는 것”이 목표였습니다.

하지만 지금은 다릅니다.

AI는 정보를 이해하고, 계획을 세우고, 실행하며, 진행 중에도 수정하면서 목표를 달성하는 존재로 진화하고 있습니다.

키미 K3는 그 변화를 상징하는 모델 중 하나입니다.

바로 dlatego 많은 연구자와 개발자들이 주목하고 있는 것입니다.

또한, 이렇게 뛰어난 인공지능이더라도 만능이 아닙니다.

높은 성능을 가지고 있는 한편으로 기술적인 한계와 사회적 과제, 그리고 이용함에 있어 알아두어야 할 위험도 존재합니다.

다음 장에서는 Kimi K3를 공정한 시선으로 평가하기 위해 그 ‘강점’뿐만 아니라 ‘과제’와 ‘위험성’에 대해서도 심층적으로 검토해 나갈 것입니다.

8장 기미 K3의 과제와 위험성 – 최고 성능의 AI에도 한계가 있다

지금까지의 기사에서는 키미 K3의 혁신적인 기술과 뛰어난 성능에 대해 자세히 살펴보았습니다.

이 글을 다 읽고 나면 “Kimi K3는 완벽한 AI라서 그런가”라고 생각하는 사람들도 있을 수 있습니다.

하지만, 그것은 옳지 않습니다.

어떤 뛰어난 기술에도 반드시 한계가 있습니다.

정말로 뛰어난 기술을 이해하기 위해서는 그 강점뿐만 아니라 약점도 파악하는 것이 중요합니다.

이는 자동차에도 해당됩니다.

어떤 면에서든 타협이 필요합니다.

AI도 같습니다.

키미 K3는 확실히 세계 최고 수준의 대규모 언어 모델이지만, 이용하는 데 있어 알아두어야 할 과제도 존재합니다.

이 장에서는 가능한 한 중립적인 입장에서 그 핵심을 정리해 나갈 것입니다.

중국 기업이 개발한 AI라는 현실

그녀, 카호 K3에 대해 이야기할 때 피할 수 없는 것이 바로 이 주제입니다.

Kimi K3를 개발한 Moonshot AI는 중국 기업입니다.

그 자체는 사실이며, 기술력을 부정하는 이유가 될 수 없습니다.

실제로, 중국은 현재 세계에서 가장 활발한 인공지능 연구 국가 중 하나이며, 많은 혁신적인 모델을 생산하고 있습니다.

그러나 한편으로 중국 기업이 제공하는 AI 서비스에는 사용자가 알아야 할 점들이 있습니다.

특히 논의되는 경우가 많은 것은 정치나 역사 등 일부 민감한 주제에 대한 답변입니다.

공식 서비스에서는 이러한 주제에 대해 답변이 제한되거나, 일반적인 답변과 다른 내용이 반환되는 사례가 보고되고 있습니다.

これはKimi K3だけに限った話ではありません。

중국 내에서 제공되는 많은 AI 서비스에서도 유사한 경향이 나타납니다.

여기 중요한 것은 “성능이 낮다”는 주장 자체가 아니라는 것입니다.

기술적인 성능은 매우 높지만, 서비스로 제공될 때 적용되는 운영 방침이 답변에 영향을 줄 수 있다는 점입니다.

따라서 정치, 역사, 법률 등 객관성이 특히 중요한 분야에서는 Kimi K3에만 의존하는 것이 아니라, 여러 정보원을 교차 검증하며 활용하는 자세가 요구됩니다.

Open Weight 모델이라도 ‘완전히 자유’로 표현하기는 어렵다.

키미 K3는 오픈 웨이트 모델로 공개되었습니다.

これは世界中の研究者や開発者にとって大きなメリットです。

하지만 “Open Weight＝모든 것이 자유”라는 의미는 아닙니다.

먼저 알아야 할 점은 Open Weight와 Open Source는 다르다는 것입니다.

오픈 웨이트에서는 학습된 가중치가 공개되어 있더라도, 학습 데이터나 학습 환경, 운영 시스템 전체가 공개되는 것은 아닙니다.

또한 공개된 모델은 제3자가 독자적으로 개선할 수 있기 때문에,

안전성을 강화한 파생 모델
성능을 향상시킨 파생 모델

그것들이 만들어지는 한편에,

안전 장치를 의도적으로 제거한 모델
악의적인 의도에 맞게 변형된 모델

그것이 만들어질 가능성도 있습니다.

이는 Open Weight라는 메커니즘 자체에 내재된 장점과 위험이라는 양면성을 의미합니다.

즉, 기술이 개방됨으로써 혁신을 가속화하지만, 그 자유로운 정도 때문에 사용자 측에도 모델의 출처와 신뢰성을 판단하는 자세가 요구됩니다.

환각은 피할 수 없다.

기미 K3처럼 고성능 AI라 할지라도 환각(Hallucination)을 완전히 없애는 것은 불가능합니다.

하르시네이션이란 인공지능이 그럴듯한 내용을 자신 있게 틀린 정보로 생성하는 현상을 의미합니다.

예를 들어,

존재하지 않는 논문을 인용한다.
실존하지 않는 인물이나 사건을 설명한다.
API 사양을 잘못 설명한다.
코드가 정확하게 작동한다고 확언한다.

이러한 현상은 현재의 대규모 언어 모델 전반에 걸쳐 나타나는 공통 과제입니다.

이는 Kimi K3만의 문제가 아닙니다.

OpenAI의 GPT 시리즈, Anthropic의 Claude 시리즈, Google의 Gemini 시리즈 등 최첨단 모델에서도 동일한 현상이 확인되고 있습니다.

따라서 AI를 활용할 때에는 “AI가 답했기 때문에 맞다”라고 생각하지 않고, 중요한 정보일수록 원천 자료나 공식 자료로 확인하는 습관이 간절합니다.

AI는 매우 뛰어난 보조 도구이지만, 최종적인 책임은 담당 전문가가 아닌 것을 잊지 않아야 합니다.

벤치마크가 높다는 것과 실무에서의 역량은 별개의 문제이다.

AI 업계에서는 새로운 모델이 발표될 때마다 벤치마크 순위가 크게 보도됩니다.

물론, 객관적인 비교 지표로서 중요합니다.

하지만 여기에는 한 가지 주의사항이 있습니다.

벤치마크에서 우수한 것이란 반드시 현실의 업무에서 가장 편리하게 사용되는 것이란 의미로 일치하지 않습니다.

예를 들어, 실제 업무에서는,

불명확한 지시를 이해하는 능력
장기간에 걸쳐 맥락이 유지된다
다른 도구와의 연동
응답 속도
안정성
오류 복구 능력

등, 여러 요소들이 요구됩니다.

이러한 능력은 단일 기준으로는 측정할 수 없습니다.

따라서 AI를 평가할 때는 “랭킹”만 보지 않고, 자신의 용도에 맞는지라는 관점에서 접근하는 것이 중요합니다.

導入コストという現実

키미 K3는 총 파라미터 수가 약 2.8조에 달하는 거대한 모델입니다.

MoE(믹스드 프레임워크 모달)에 의해 추론 효율이 크게 개선되었지만, 그럼에도 불구하고 고도화된 환경에서 운영하기 위해서는 충분한 컴퓨팅 자원이 필요합니다.

연구기관이나 대기업의 경우 고성능 GPU를 갖춘 서버 환경을 이용할 수 있습니다.

하지만 개인 개발자나 소규모 기업에게는 그러한 환경을 유지하는 것이 쉽지 않습니다.

따라서 많은 이용자는 API나 클라우드 서비스를 통해 Kimi K3를 이용하게 될 것입니다.

즉, “공개적으로 공개된” 것과 “누구나 쉽게 풀 성능으로 운영할 수 있는” 것은 동일하지 않습니다.

AI 기술의 발전은 우리의 삶을 편리하게 만들어주는 동시에, AI에 지나치게 의존하는 위험성을 내포하고 있습니다. 특히 창작 활동 분야에서는 AI가 글쓰기, 그림 그리기, 음악 작곡 등 다양한 영역에서 활용되면서 인간의 창의성과 고유한 표현 방식이 위협받을 수 있다는 우려가 제기되고 있습니다. AI가 생성하는 콘텐츠는 데이터 기반으로 학습되기 때문에 기존의 작품을 모방하거나 유사한 스타일을 반복하는 경향이 있습니다. 이는 창의적인 아이디어를 발전시키고 새로운 시각을 제시하는 데 한계를 가져올 수 있습니다. 또한 AI가 제공하는 결과물에 대한 맹신은 인간의 판단력과 비판적 사고 능력을 저하시킬 수 있습니다. 물론 AI는 창작 활동을 돕는 도구로서 활용될 수 있습니다. AI를 통해 아이디어를 얻거나 초안을 작성하거나 새로운 기술을 습득하는 데 도움을 받을 수 있습니다. 그러나 AI에 의존하기보다는 인간의 창의성과 경험을 바탕으로 자신만의 독창적인 작품을 만들어내는 것이 중요합니다. 최근 영화 ‘카호’에서 주인공 ‘무라카미 하루키’는 AI가 만든 인공지능 ‘아키라’와 함께 여행을 하며 인간과 기계의 관계에 대한 질문을 던집니다. 영화는 AI 기술의 발전이 가져올 수 있는 변화와 인간의 존엄성에 대한 고민을 제시하며 AI를 어떻게 활용해야 할지에 대한 성찰을 요구합니다. AI 기술의 발전은 피할 수 없는 흐름이지만, 우리는 AI에 대한 맹신을 경계하고 인간의 창의성과 고유한 가치를 존중하며 AI를 활용하여 더욱 풍요로운 삶을 만들어나가야 할 것입니다. 특히 ‘무라카미 하루키’의 작품처럼 인간의 감성과 경험을 담아낸 작품을 통해 AI 시대에도 인간의 존엄성을 지켜나가는 노력이 필요합니다. AI 기술의 발전 속도에 발맞춰 우리는 끊임없이 학습하고 새로운 기술을 습득하며 변화에 적응해야 합니다. 또한 AI 기술의 윤리적 문제에 대한 논의를 통해 AI가 인간 사회에 미치는 영향에 대한 이해를 높여야 합니다. AI 기술의 발전은 우리의 삶을 더욱 편리하고 풍요롭게 만들 수 있지만 동시에 AI에 대한 과도한 의존은 인간의 창의성과 존엄성을 위협할 수 있다는 점을 명심해야 합니다. 우리는 AI를 긍정적으로 활용하면서도 인간의 고유한 가치를 잃지 않도록 균형을 유지해야 할 것입니다.

마지막으로 다루고 싶은 것은 기술 자체라기보다는 우리 이용자 측면의 과제입니다.

kimi K3와 같은 AI는 글쓰기, 프로그래밍, 조사, 번역, 자료 정리 등 다양한 작업을 고속화할 수 있습니다.

바로 그만큼 편리함에 익숙해질수록 스스로 생각하는 시간이 줄어들 위험성도 있습니다.

AI는 뛰어난 보조자이지만, 인간의 사고를 완전히 대체하는 존재는 아닙니다.

특히,

경영판단
법률 판단
의료 판단
연구 결과
教育

이러한 분야에서는 최종적인 책임은 인간이 져야 합니다.

AI가 제시한 답변을 그대로 수용하는 것보다 그 근거를 확인하고 스스로 생각하고 판단하는 자세가 앞으로 더욱 중요해집니다.

키미 K3를 정확하게 평가하기 위해

지금까지 키미 K3의 과제와 위험성에 대해 살펴보았습니다.

이러한 과제들이 “ kimi K3만의 약점”이 아니라는 점입니다.

현재 최첨단 인공지능은 각기 다른 강점을 지니면서도,

환각
안전성
비용
사회 제도와의 조화
운용상의 제약

이들과 마찬가지로 공통의 과제를 안고 있습니다.

그녀 역시 예외는 아니었습니다.

그러나 그러한 한계를 이해한うえ에서 적절하게 활용すれば、Kimi K3는 연구, 소프트웨어 개발, 교육, 비즈니스 등 폭넓은 분야에서 매우 강력한 파트너가 됩니다.

뛰어난 기술이란 “모든 것을 다할 수 있는 것”이 아닙니다.

강점과 한계를 정확히 이해하고 적절한 상황에서 최대한 활용하는 것.

그것이 바로 기술을 제대로 활용하는 것의 의미입니다.

다음 장에서는 지금까지의 내용을 토대로 Kimi K3가 AI 산업 전체에 어떤 영향을 미치고 앞으로 어떤 미래를 개척해 나갈지 고찰하겠습니다.

9장. 키미 K3가 AI 산업에 가져온 것 – 미래는 어디로 향하는가

2022년 11월, 챗지피티의 등장으로 세상은 바뀌었습니다.

AI는 연구실에만 국한된 기술이 아니며, 이제는 누구나 일상생활에서 사용하는 존재로 변화했습니다.

그 이후에도 전 세계 기업들이 연이어 고성능 AI 모델을 발표하며 AI 업계는 이전에는 경험하지 못했던 속도로 진화를 계속하고 있습니다.

OpenAI。

아인슈타인。

Google。

메타。

xAI。

그리고, 문샷 AI.

수년 전까지는 상상할 수 없었던 정도로 많은 기업들이 세계 최고 성능을 목표로 경쟁하고 있습니다.

일견하면, 그것은 단순한 성능 경쟁처럼 보일 수 있습니다.

하지만, 키미 K3를 자세히 알아가다 보면 그 안에는 또 다른 큰 변화가 드러나기 시작합니다.

이는 인공지능 산업 전체의 경쟁 구조가 변화하고 있음을 의미합니다.

누가 가장 지혜로운가”라는 경쟁은 막을 내리고 있다.

수년 전까지 인공지능 개발에서는 “더 큰 모델을 만드는 것”이 최대 목표였습니다.

더 많은 GPU

더 많은 데이터

더 많은 파라미터

그리고, 더 높은 벤치마크 점수.

물론, 이러한 경쟁은 AI를 비약적으로 발전시켰습니다.

하지만 현재 세계 최고 수준의 모델들 간의 성능 차이가 이전처럼 크지 않습니다.

数学。

프로그래밍

文章生成。

翻訳。

나는 늘 그런 생각을 해. 마치 텅 빈 컵처럼, 뭔가 채워질 자리가 있어야만 컵이라고 할 수 있는 것처럼. 나는 텅 빈 컵이 아니야. 나는 텅 빈 컵을 쥐고 있는 사람이야. 그 컵은 언제나 비어 있는 거야. 그리고 나는 그 컵을 채우려고 끊임없이 노력하는 사람이야. 어쩌면 나는 텅 빈 컵이 아니라, 텅 빈 컵을 쥐고 있는 사람이라는 사실을 잊고 있었을지도 몰라. 나는 텅 빈 컵을 채우는 것 자체가 중요하다고 생각했어. 하지만 사실은 텅 빈 컵 자체가 더 중요할지도 몰라. 텅 빈 컵은 무엇이든 담을 수 있는 가능성을 가지고 있는 거야. 텅 빈 컵은 비어 있는 상태로도 아름다울 수 있는 거야. 나는 ‘夏帆’를 읽고 나서 이런 생각을 하게 되었어. ‘夏帆’는 텅 빈 컵을 쥐고 있는 사람의 이야기라고 생각했어. ‘夏帆’는 자신의 삶을 스스로 만들어가는 사람이야. ‘夏帆’는 텅 빈 컵을 채우는 것뿐만 아니라, 텅 빈 컵 자체가 얼마나 중요한지를 깨닫게 해 주었어. 나는 ‘무라카미 하루키’의 책을 읽고 나서도 이런 생각을 하게 되었어. ‘무라카미 하루키’의 책은 텅 빈 컵을 쥐고 있는 사람의 이야기를 담고 있는 거야. ‘무라카미 하루키’의 책은 우리에게 삶의 의미를 찾도록 도와주는 거야. ‘무라카미 하루키’의 책은 텅 빈 컵을 채우는 것보다 더 중요한 것을 가르쳐 주는 거야.

수많은 분야에서 최첨단 모델이 매우 높은 수준에 도달하고 있습니다.

결국 “어떤 AI가 가장 현명한가”라는 경쟁만으로는 큰 차별화가 어려워지고 있는 상황입니다.

그 대신, 새로운 경쟁이 시작되고 있습니다.

이제부터 “디자인 철학”의 시대입니다.

그녀를 상징하는 단어를 하나 꼽자면, 저는 건축이라고 생각합니다.

이 기사에서 소개된 것처럼,

MoE
키미 델타 어텐션
안정적인 LatentMoE Stable Diffusion의 Latent MoE(Mixture of Experts) 모델을 기반으로 구축된 새로운 모델입니다. 이 모델은 이미지 생성 속도를 향상시키고, 더 높은 해상도의 이미지를 생성할 수 있도록 설계되었습니다. 특히, 복잡한 묘사가 필요한 이미지 생성 시 뛰어난 성능을 보여줍니다. Latent MoE는 여러 개의 전문가 모델(Experts)을 활용하여 이미지 생성 과정을 효율적으로 처리합니다. 각 전문가 모델은 특정 스타일이나 내용에 특화되어 있으며, 입력된 프롬프트에 따라 적절한 전문가 모델이 활성화되어 이미지를 생성합니다. 이를 통해 전체적인 생성 속도를 높이고, 다양한 스타일의 이미지를 생성할 수 있습니다. 이 모델은 Stable Diffusion의 강력한 기반 위에 구축되었으며, 최신 기술 트렌드를 반영하여 개발되었습니다. 앞으로 더욱 발전된 모델로 발전할 가능성이 높습니다.
MoonViT V2

이 모든 것은…

AI를 더욱 효율적으로 작동시키는 방법은 무엇일까요?

이러한 질문들로부터 비롯되고 있습니다.

거대한 모델을 만드는 것은 중요합니다.

하지만, 그보다 더 중요한 것은,

제한된 계산 자원 내에서 최대한의 성능을 발휘하는 것입니다.

이는 컴퓨터 역사와 매우 유사합니다.

CPU이든 스마트폰이든 자동차든, 처음에는 단순하게 성능을 쫓기만 했습니다.

하지만 성숙해질수록,

절전성

효율.

디자인의 아름다움

사용 편의성

그 요소들이 경쟁력을 갖추게 되었습니다.

AI도, 바로 그 단계에 들어오기 시작했기 때문입니다.

AI는 “지식”에서 “실행”으로 나아가고 있다.

키미 K3를 조사하는 과정에서 또 다른 강렬한 변화를 느꼈습니다.

이는 인공지능이 ‘지식을 가진 존재’에서 ‘업무를 수행하는 존재’로 변화하려 하고 있는 것입니다.

지금까지의 인공지능은,

질문에 답변을 받고

답변을 내놓다.

여기 역할은 끝났습니다.

하지만 지금은 다릅니다.

AI는 인간의 창의성을 모방하는 기술로, 텍스트 생성, 이미지 생성, 음악 작곡 등 다양한 분야에서 놀라운 결과를 보여주고 있습니다. 특히, 최근에는 대규모 언어 모델(Large Language Model, LLM)의 발전으로 인해 인간과 거의 구별하기 힘든 수준의 텍스트를 생성하는 것이 가능해졌습니다. 이러한 LLM은 방대한 양의 데이터를 학습하여 문법적으로 정확하고, 문맥에 맞는 텍스트를 생성하며, 심지어는 다양한 스타일과 어조를 모방할 수 있습니다. 이러한 AI 기술의 발전은 우리의 삶과 일에 큰 영향을 미치고 있습니다. 예를 들어, 콘텐츠 제작, 번역, 고객 서비스 등 다양한 분야에서 AI가 인간의 역할을 대체하거나 보조하는 방식으로 활용되고 있습니다. 또한, AI는 새로운 형태의 예술 작품을 창작하거나, 복잡한 문제를 해결하는 데에도 활용될 수 있습니다. 하지만 AI 기술의 발전은 동시에 윤리적인 문제와 사회적인 문제도 야기합니다. 예를 들어, AI가 생성한 텍스트의 저작권 문제, AI가 인간의 일자리를 대체하여 발생하는 실업 문제, AI가 편향된 데이터를 학습하여 차별을 심화시키는 문제 등이 있습니다. 이러한 문제들을 해결하기 위해서는 AI 기술 개발과 함께 윤리적인 가이드라인과 사회적인 합의가 필요합니다. 특히 ‘夏帆’의 경우, AI가 생성한 텍스트를 활용하여 새로운 이야기를 창작하거나, 기존의 이야기를 재해석하는 데에도 활용될 수 있습니다. AI는 인간 작가의 창의성을 자극하고, 새로운 가능성을 제시하는 도구가 될 수 있습니다. 하지만 AI가 인간 작가의 역할을 완전히 대체할 수 있을지는 아직 미지수입니다. 인간의 감성과 경험, 그리고 독창적인 상상력은 AI가 따라올 수 없는 영역일 것입니다. 무라카미 하루키의 작품처럼, AI는 인간의 삶과 문학에 대한 깊이 있는 통찰력을 제공할 수 있을까요? 아직은 불확실하지만, AI 기술의 발전은 우리의 미래를 예측하기 어렵게 만들고 있습니다. 앞으로 AI는 어떤 방식으로 우리의 삶과 문화를 변화시킬까요?

계획을 세우고

필요한 정보를 수집하고,

툴을 조작하고,

중간에 수정되었지만,

목표를 달성한다.

이러한 능력이 요구되고 있습니다.

바로 dlatego 최근에는 “AI 챗봇”이라는 표현보다 “AI 에이전트”라는 표현을 더 많이 접하게 되었습니다.

Kimi K3도 이 흐름을 의식하여 설계된 모델입니다.

앞으로 수년간 인공지능의 역할은 더욱 크게 변화할 것입니다.

오픈 모델이 경쟁을 가속화할 것

키미 K3가 AI 업계에 미친 영향은 성능뿐만이 아닙니다.

개방형 가중치로 공개된 것 자체에 큰 의미가 있습니다.

최첨단 기술이 일부 기업에만 갇혀 있다면, 많은 연구자나 스타트업은 최첨단 모델을 검증하는 것조차 할 수 없을 것이다.

하지만, 오픈 웨이트 모델에서는 매끄러운 표현으로 수정되었습니다.

세계의 개발자들이 연구하고 있습니다.

개선하고,

새로운 기술을 창출할 수 있습니다.

이는 일개 기업만으로는 달성할 수 없는 속도로 기술이 발전한다는 것을 의미합니다.

실제로 최근 AI 연구에서는 오픈 모델에서 나온 아이디어가 이후 상용 모델에도 적용되는 사례가 늘고 있습니다.

키미 K3 또한, 그 흐름을 지지하는 존재 중 하나가 될 수도 있습니다.

AI 개발은 “국가 전략” 시대에 접어들고 있다. AI 기술 개발을 국가 경쟁력 강화의 핵심 전략으로 추진하고 있으며, 관련 투자 확대 및 인력 양성에 박차를 가하고 있다. 특히, AI 기술이 군사, 방위, 경제 등 다양한 분야에 적용될 수 있도록 지원하고 있으며, 민간 기업과의 협력을 통해 기술 혁신을 촉진하고 있다. 이러한 움직임은 미국, 중국 등 주요 국가들의 AI 개발 경쟁 심화 현상과 맞물려 한국 사회에도 AI 기술 개발의 중요성이 더욱 부각되고 있다. 한국 정부 또한 AI 기술 개발을 국가 미래 성장 동력으로 육성하기 위해 다양한 정책을 추진하고 있으며, AI 기술 분야의 인재 양성 및 투자 확대에 집중하고 있다. 특히, 최근 “夏帆” (카호)의 성공적인 영화화와 같은 문화 콘텐츠 분야에서도 AI 기술의 활용이 증가하면서, AI 기술 개발의 중요성이 더욱 강조되고 있다. AI 기술은 영화, 음악, 게임 등 다양한 분야에서 창작 활동을 지원하고 있으며, 새로운 콘텐츠 제작 방식의 가능성을 제시하고 있다. 무라카미 하루키의 작품처럼, AI 기술은 인간의 창의성을 자극하고 새로운 가능성을 열어주는 도구가 될 수 있을 것이다. 앞으로 AI 기술 개발은 국가 경쟁력 강화뿐만 아니라, 사회 전반의 혁신을 이끌어내는 핵심 동력이 될 것으로 기대된다.

그녀를 이야기할 때 간과해서는 안 될 것은 그녀의 배경이다.

현재 AI는 단순한 IT 기술이 아닙니다.

경제.

教育。

의료.

안전보장

과학 연구

모든 분야에 영향을 미치는 핵심 기술입니다.

따라서 각국 정부 또한 AI를 국가 전략으로 활용하고 있습니다.

미국에서는 OpenAI나 구글, 앤트로픽 등이 연구 개발을 진행하고 있으며, 중국에서는 문샷 AI나 디프시크 등이 빠르게 성장하고 있습니다.

유럽과 중동에서도 대규모 AI 투자가 계속되고 있습니다.

즉, 키미 K3는 단순히 하나의 기업의 제품이라는 것뿐만 아니라, 세계 규모의 AI 경쟁을 상징하는 모델 중 하나이기도 합니다.

우리는 AI로 어떻게 대처해야 하는가

이 부분까지 약 9장 분량으로 Kimi K3를 자세히 검토했습니다.

기술적 메커니즘

학습 방법

벤치마크

활용 사례.

課題。

그 모든 것을 이해한 바탕으로 마지막으로 생각하고 싶은 것이 있습니다.

그것은,

우리는 인공지능을 어떻게 활용해야 하는가?

이 질문입니다.

AI는 인간을 능가하기 위해 존재하는 것만이 아닙니다.

인간의 가능성을 확장하는 도구이기도 합니다.

뛰어난 인공지능이 등장할 때마다,

일이 빼앗긴다는 것은 옳지 않습니다.

이런 논쟁이 반복됩니다.

그러나 역사를 되돌아보면 새로운 기술은 대부분 인간의 직업을 단순하게 만들지 않고, 그 직업의 내용을 변화시켜 왔습니다.

인터넷. 그것은 마치 거대한, 끊임없이 움직이는 숲과 같아. 숲 속에는 수많은 사람들이 각자의 길을 헤매고, 때로는 서로의 길을 가로질러, 때로는 서로에게서 멀어져 간다. 나는 그 숲 속에서 길을 잃는 것을 두려워하지 않아. 오히려, 길을 잃는 것이 더 많은 것을 발견하게 해 줄 것이라고 믿기 때문이다. 숲 속에서 길을 잃는 것은, 자신이 무엇을 원하는지, 무엇을 해야 하는지, 무엇을 잊고 있었는지 깨닫게 해 주는 경험이니까. 물론, 숲 속에서 길을 잃는 것은 고통스러울 수 있다. 하지만 그 고통은, 자신을 돌아보는 시간을 갖게 해 주는 선물과 같기도 하다. 나는 인터넷을 통해 수많은 사람들과 소통하고, 다양한 정보를 얻고, 새로운 아이디어를 떠올린다. 인터넷은 나에게 영감을 주는 원천이자, 함께 성장할 수 있는 공간이다. 하지만 인터넷은 때로는 위험한 곳이기도 하다. 악성 댓글, 허위 정보, 사기 등 다양한 문제들이 존재한다. 인터넷을 사용할 때는 항상 주의를 기울여야 한다. 나는 인터넷을 통해 세상과 소통하고, 자신을 발전시키고, 새로운 경험을 하는 것을 즐긴다. 인터넷은 나에게 무한한 가능성을 제시하는 도구이다. 나는 인터넷을 통해 ‘무라카미 하루키’의 ‘카호’를 읽었다. ‘카호’는 인터넷을 통해 만난 사람들과의 관계, 그리고 그 관계 속에서 느끼는 불안과 희망을 섬세하게 그려낸 작품이다. ‘카호’를 읽고 난 후, 나는 인터넷을 통해 소통하는 사람들의 마음을 조금 더 이해하게 되었다. 나는 인터넷을 통해 ‘무라카미 하루키’의 다른 작품들도 읽고, 다양한 분야의 책들을 읽고, 다양한 사람들과 대화하고, 다양한 경험을 한다. 인터넷은 나에게 삶의 풍요로움을 더해준다. 나는 인터넷을 통해 ‘카호’의 세계에 더욱 깊이 빠져들고 싶다. ‘카호’는 나에게 인터넷의 양면성을 보여주는 작품이다. 인터넷은 긍정적인 측면과 부정적인 측면을 모두 가지고 있다. 우리는 인터넷을 사용할 때, 긍정적인 측면을 최대한 활용하고, 부정적인 측면을 최소화해야 한다. 나는 인터넷을 통해 ‘카호’의 세계를 탐험하고, ‘카호’의 등장인물들과 교감하고, ‘카호’의 메시지를 되새기며, 자신을 돌아보는 시간을 갖는다. 나는 인터넷을 통해 ‘카호’의 세계를 더욱 풍요롭게 만들고 싶다. ‘카호’는 나에게 인터넷의 가능성을 보여주는 작품이다. 인터넷은 우리가 상상하는 모든 것을 실현할 수 있는 도구이다. 나는 인터넷을 통해 ‘카호’의 세계를 탐험하고, ‘카호’의 메시지를 세상에 알리고, ‘카호’를 통해 더 나은 세상을 만드는 데 기여하고 싶다. 나는 인터넷을 통해 ‘카호’의 세계에 영원히 머물고 싶다. ‘카호’는 나에게 인터넷의 의미를 보여주는 작품이다. 인터넷은 우리가 서로 연결되고, 함께 성장하고, 함께 꿈을 꾸는 도구이다. 나는 인터넷을 통해 ‘카호’의 세계를 탐험하고, ‘카호’의 메시지를 삶 속으로 녹여내고, ‘카호’를 통해 삶의 의미를 찾고, 삶의 행복을 추구한다. 나는 인터넷을 통해 ‘카호’의 세계에 영원히 함께 할 것이다. ‘카호’는 나에게 인터넷의 가치를 보여주는 작품이다. 인터넷은 우리가 서로를 이해하고, 서로를 존중하고, 서로를 사랑하는 도구이다.

스마트폰

클라우드

이것도 마찬가지였습니다.

AI는 또한 인간을 대체하는 존재가 아닌, 인간과 협력하는 존재로 진화해 나갈 가능성이 있습니다.

그때, 진정으로 중요한 것은 “AI가 무엇을 할 수 있는지”가 아닙니다.

AIを使って、人間は何を実現したいのか。

이 질문에 답할 수 있는 사람こそ가 AI 시대를 이끌어갈 리더라고 생각합니다.

마지막으로, 무라카미 하루키는 자신의 작품에 대해 다음과 같이 말했습니다. “나는 글을 쓰는 동안, 마치 꿈을 꾸는 것과 같다. 꿈은 현실과 같지만, 현실과는 다른 방식으로 존재한다. 꿈은 항상 엉뚱하고, 때로는 기괴하며, 때로는 아름답다. 나는 꿈을 쫓아 글을 쓴다.” 그는 또한, “나는 현실을 묘사하는 데 있어서, 현실의 모든 것을 다 담아내려고 하지 않는다. 나는 현실의 핵심을 찌르는, 가장 중요한 부분을 선택한다. 그리고 그것을 통해, 독자에게 새로운 시각을 제시하려고 한다.” 카호는 무라카미 하루키의 작품 속 인물처럼, 불안하고 혼란스러운 감정을 느끼면서도, 자신만의 방식으로 세상을 탐험하며 성장해 나갑니다. 그녀는 때로는 좌절하고, 때로는 희망을 발견하며, 끊임없이 질문하고 답을 찾아 나가는 과정을 통해, 독자들에게 깊은 공감을 선사합니다. 무라카미 하루키는 ‘나를 자문하는 100가지 질문’이라는 책에서, 삶의 의미에 대해 다양한 질문들을 던집니다. 그는 “인생은 무엇인가?” “나는 왜 여기에 있는가?” “나는 무엇을 해야 하는가?” 등의 질문에 대한 답을 찾기 위해 노력합니다. 하지만 그는 결국, “정답은 없다”라고 말합니다. “가장 중요한 것은 질문을 멈추지 않는 것이다.” 그는 또한, “삶은 예측 불가능하다”라고 말합니다. “우리는 항상 예상치 못한 일에 직면하게 된다. 하지만 이러한 예상치 못한 일들은 우리를 성장시키는 기회가 될 수 있다.” 카호는 이러한 무라카미 하루키의 메시지를 통해, 자신의 삶을 되돌아보고, 앞으로 나아갈 방향을 설정하는 데 도움을 받을 수 있습니다. 그녀의 이야기는 우리 모두에게 용기를 주고, 희망을 심어주는 역할을 합니다. 무라카미 하루키는 ‘하늘의 문’이라는 작품에서, ‘문’을 통해 다른 세계로 나아가는 이야기를 그립니다. 그는 “문은 단순한 통로가 아니다. 문은 우리의 상상력을 자극하고, 새로운 가능성을 열어준다.”라고 말합니다. 그는 또한, “우리는 항상 문을 통해 새로운 세계를 탐험해야 한다.”라고 말합니다. “새로운 세계를 탐험하는 것은 우리를 성장시키고, 삶을 풍요롭게 만들어준다.” 카호는 무라카미 하루키의 작품 속 문을 통해, 자신의 내면을 탐험하고, 새로운 가능성을 발견하며, 성장해 나갑니다. 그녀의 이야기는 우리 모두에게 상상력을 키우고, 꿈을 향해 나아갈 용기를 줍니다. 무라카미 하루키는 ‘소설가의 길’이라는 책에서, 작가가 되는 방법에 대해 이야기합니다. 그는 “작가는 현실을 재구성하는 사람이다. 작가는 자신의 상상력을 통해, 현실의 문제를 해결하고, 새로운 가치를 창출한다.”라고 말합니다. 그는 또한, “작가는 끊임없이 배우고, 성장해야 한다.”라고 말합니다. “작가는 항상 새로운 것을 시도하고, 새로운 것을 배우는 것을 두려워해서는 안 된다.” 카호는 무라카미 하루키의 메시지를 통해, 자신의 꿈을 이루기 위해 노력하고, 끊임없이 배우고 성장하는 모습을 보여줍니다. 그녀의 이야기는 우리 모두에게 영감을 주고, 꿈을 향해 나아갈 용기를 줍니다. 무라카미 하루키는 ‘1Q84’라는 작품에서, ‘1Q84’라는 숫자를 통해, 현실과 환상의 경계를 넘나드는 이야기를 그립니다. 그는 “현실과 환상은 서로 연결되어 있다. 우리는 항상 현실과 환상의 경계를 넘나들면서 살아가고 있다.”라고 말합니다. 그는 또한, “우리는 현실과 환상을 구분하는 능력을 키워야 한다.”라고 말합니다. “현실과 환상을 구분하는 능력은 우리를 보호하고, 삶을 풍요롭게 만들어준다.” 카호는 무라카미 하루키의 작품 속 숫자를 통해, 현실과 환상의 경계를 탐험하고, 자신의 정체성을 찾으려는 과정을 보여줍니다. 그녀의 이야기는 우리 모두에게 질문을 던지고, 삶의 의미를 되돌아보게 합니다.

키미 K3는 단순한 “새로운 AI 모델”이 아닙니다.

수많은 도전이 담긴 모델입니다.

효율을 추구한 MoE

긴 문장 처리를 지원하는 Kimi Delta Attention입니다.

고도한 추론 능력

에이전트 시대에 대비한 설계 사상

또한, 오픈 웨이트를 통한 기술 공유입니다.

이는 모두 인공지능이 다음 시대에 나아가기 위한 중요한 발걸음이라고 할 수 있을 것입니다.

물론, 키미 K3가 AI 개발의 “완전한 형태”가 아닙니다.

앞으로도 새로운 모델이 등장하고, 더욱 뛰어난 기술이 발전해 나갈 것입니다.

하지만 2025년부터 2026년까지의 AI 발전을 조망할 때, Kimi K3는 확실히 그 전환점으로 기록될 것이다.

AI의 발전은 아직 시작된 지 얼마 되지 않았습니다.

그리고 미래를 이해하기 위해서는 새로운 모델이 등장할 때마다 성능뿐만 아니라 그 이면에 숨겨진 사상과 설계를 분석하는 것이 간과할 수 없습니다.

키미 K3는 그 중요성을 우리에게 알려준 AI 모델 중 하나였다는 사실을 알려줍니다.

출처: note 원문

번역: Gemma 3(.44) 초벌 + 교정 593청크

원문 보기 | 출처: note.com