네, 그 부분은 상당히 유사합니다. 공통적으로 나타나는 점은 “완성된 문장은 모델이 내부적으로 계산한 정보의 극히 일부에 불과하다”는 시각입니다.
텍스트가 지나치게 압축되어 있습니다. 토큰으로 줄이는 시점에서 불완전한 모호성, 후보 분포, 아직 언역되지 않은 관계성이 상당히 떨어집니다. 따라서 “대규모 모델이 긴 문장의 사고를 쓰고, 소규모 모델이 그것을 읽어 다시 쓰는” 방식은 인간 간의 대화와 유사한 한편, 내부 계산의 대부분을 버리고 있습니다.
모직(Mostik)과 아스트라(Astra) 주변의 논의도, 이 손실을 피하고 싶다는 점에서는 같습니다. 차이점은 그 이후입니다. 모직은 다른 모델들 간에 숨겨진 상태(hidden state)를 전달하는 방식이며, 아스트라에서 보도된 내용은 주로 동일 모델 내부에서 숨겨진 상태를 여러 번 반복적으로 사용하거나, 에이전트 간에 업무를 분담하는 것에 대한 이야기입니다.
그러므로 “유사하다”는 것이 맞고, 유사한 핵은 아키텍처 자체보다 언어가 병목이라는 전제에 가깝습니다.
🚨 이는 튜링상 수상 수준의 AI 돌파구일 정도로 놀랍습니다! 러시아 연구자들이 개발한 혁신적인 기술로 스마트폰에서 실행 가능한 4B 모델이 GLM5.3 수준의 지능을 언제든지 얻을 수 있게 됩니다! 최근 @WIRED는 새로운 AI 기업 @mostik_ai 를 보도했습니다. Mostik는 러시아어로 ‘다리’라는 뜻이며, 그들이 하는 일은 디스토일링이나 대규모 모델이 먼저 긴 CoT를 생성한 후 소규모 모델이 읽는 방식이 아닙니다. … https://t.co/qBmkp6YVHH— Max For AI (@MaxForAI) 2026년 9월 2일
이는 튜링상급 AI 획신을 이룰 만한 획기적인 성과입니다! 러시아 연구진의 혁신적인 기술로, 모바일 기기에서 작동하는 4B 모델이 언제든 GLM5.3 수준의 지능을 손에 넣을 수 있게 됩니다! 어제 @WIRED가 @mostik_ai라는 새로운 AI 기업에 대해 보도했습니다. Mostik는 러시아어로 “다리”라는 뜻이며, 그들이 하는 일은 증류가 아니며, 대규모 모델에 긴 CoT(Chain of Thought)를 생성시켜 소규모 모델에 읽어들이는 방식도 아닙니다. 그들은 전혀 다른 일을 했습니다: 두 개의 완전히 다른 모델을 연결하여, 텍스트를 생성한 다음 그것을 다른 모델에 제공하는 대신, 모델 내부의 수학적 표현을 통해 직접 정보를 전달시키는 것입니다. Mostik는 두 개의 중국 오픈소스 모델을 사용하여 실험을 진행했습니다: 하나는 753B 파라미터의 GLM-5.2, 다른 하나는 4B로 모바일 기기에서 작동 가능한 Qwen-3.5입니다. 연결한 후, 이 하이브리드 시스템의 성능은 양자의 정확히 중간 지점에 위치하지만, 작동 비용은 완전한 GLM-5.2의 1/20에 불과합니다. 이 성과의 진정한 가치는 대규모 모델의 활용 방식을 근본적으로 변화시킬 가능성에 있습니다. 현재 두 개의 AI 모델이 협력하는 본질은 아직 인간 간의 채팅과 같습니다: A가 많은 토큰을 생성하고, B가 그것을 재읽어 작업을 계속합니다. Mostik가 목표하는 것은 대규모 모델이 가장 어려운 사고만 담당하고, 그 내부 상태를 직접, 저렴한 소규모 모델에 이어서 작업을 이어받게 하여 계속하도록 하는 것입니다. 즉, 미래의 스마트폰, 컴퓨터, 심지어 로봇이라도 소규모 모델을 항상 가동시키고, 정말 어려운 문제에 직면했을 때만 클라우드 상에서 대규모 모델의 추론 능력을 빌리는 형태가 될 것입니다. 그 결과, 대규모 모델은 전체 작업을 처음부터 끝까지 처리할 필요 없이, 가장 어려운 부분의 능력을만 제공하고, 내부 표현을 통해 정보를 소규모 모델에 전달하여 실행을 계속하도록 할 것입니다. 또한, 그들은 이미 이 방법을 사용하여 모델을 만들고 있으며, ARC-AGI 3 랭킹판에서 1위를 차지하고 있지만, 콘테스트가 아직 끝나지 않았기 때문에 구체적인 계획은 당분간 공개되지 않았습니다. Mostik 팀은 현재 15명으로 구성되어 있으며, 그 중 12명이 박사 학위를 가지고 있고, 首席科学者(최주과학자)인 Stanislav Smirnov는 2010년 필즈상 수상자입니다. 정말 놀라운 방향이라고 생각합니다. 모두가 더 거
출처: note 원문
번역: Gemma 3(.44) 초벌 + 교정 6청크
원문 보기 | 출처: note.com