# TypeSafe AI 제이베이 해설 | System One 모델의 위치 및 도입 설계

> https://bookfactory.kr/board/news/17598
> 게시판: 뉴스
> 작성자: admin
> 작성일: 2026-09-18T05:38:48.336Z

---

![見出し画像](https://assets.st-note.com/production/uploads/images/314729501/rectangle_large_type_2_b761a72d5ea73b36f6d25c78f45c371e.png?width=1280)

## TypeSafe AI의 Jev 해설 | System One 모델의 위치 및 도입 설계

Jev는 System One 모델의 핵심 구성 요소로서, 데이터의 안전한 보관 및 관리를 위한 중요한 역할을 수행합니다. System One 모델은 데이터의 품질과 일관성을 유지하고, 비즈니스 의사 결정에 필요한 정확한 정보를 제공하는 것을 목표로 합니다.

Jev는 이러한 System One 모델의 도입을 위한 설계 단계에서 데이터 보안 수준을 설정하고, 접근 권한을 관리하며, 백업 및 복구 전략을 수립하는 데 활용됩니다. 특히, Jev는 데이터의 무결성을 보장하고 데이터 유출 위험을 최소화하는 데 중점을 둡니다.

System One 모델의 성공적인 도입을 위해서는 Jev를 효과적으로 활용하는 것이 필수적이며, 이를 통해 데이터의 안전성을 확보하고 System One 모델의 성능을 극대화할 수 있습니다.

TypeSafe AI의 Jev는 업무 흐름 중간에 통합되어 판단을 내리는 데 사용되는 모델입니다. 생성형 LLM처럼 문장을 생성하지 않고, 사전에 정의된 선택지 중에서 답을 선택하고, 그 확실성을 함께 반환합니다. TypeSafe AI는 이를 “System One 모델”이라고 부릅니다.

문의 응대에 대해선, 배정받는 부서, 긴급도, 사람 확인이 필요한지 여부를 짧은 응답 시간으로, 확신도까지 함께 제공하며, 다음과 같이 활용한다.

이 글에서는 DX(전환 디지털) 또는 ICT(정보통신) 부서에서 생성 AI 도입을 담당하고 있는 담당자들을 위해 Jev를 어떤 아키텍처 위치에 어떻게 활용하고, 도입 전에 어떤 부분을 설계해야 하는지 정리합니다.

## 오늘도 독서 모임에서 최근 화제의 소설 ‘너, 별처럼’을 읽었습니다.

모두 각자 감상을 나누었는데, 특히 주인공 ‘당신’의 갈등에 공감한다는 의견이 많았습니다.

‘당신’은 어린 시절부터 짊어져야 했던 비밀과 주변 사람들과의 관계를 맺으며 성장해가는 과정을 섬세하게 묘사하고 있어, 그 섬세한 심리 묘사에 깊이 빠져들었습니다.

특히 인상 깊었던 장면은 주인공이 과거의 자신과 마주하고 받아들이는 것의 어려움을 표현한 부분입니다.

또한, 이야기가 펼쳐진 일본의 교토의 아름다운 풍경 묘사 또한 훌륭하여, 독서 모임 중 모두가 교토 여행을 가고 싶어졌습니다.

이 소설은, 읽고 난 후의 만족감 외에도 등장인물들의 인간 드라마가 깊이 공감되는 작품이었습니다.

모두와 감상을 공유할 수 있어서 매우 의미 있는 시간이 되었습니다.

![](https://assets.st-note.com/img/1789654466-eorNpnx8ZAObucqVvIHY5KmQ.png?width=1200)

## 생성형 LLM(Large Language Model)을 업무 시스템에 통합할 때 막히는 경우가 있습니다.

채팅형 LLM은 이메일 작성, 요약, 브레인스토밍과 같이 사람이 직접 사용하는 장면에서는 강점을 쉽게 보여주는 모델입니다.

그러나 백엔드에 판단 처리를 통합하려고 하면 또 다른 문제가 발생합니다. 응답이 느려지고, 요청 건수와 비례하여 비용이 폭증하며, 지정한 형식에서 벗어난 출력이 섞입니다. 모델이 자신감을 갖지 못하는 경우를 외부에서 구별하기 어렵고, 모두 요청 건수가 늘어날수록 영향을 미치는 문제입니다.

후단 시스템이 받아들이고 싶은 것은, 보통 “A로 보내기”, “급하게 하지 않게”, “사람이 보는 것을 의미”와 같은 다음 액션을 나타내는 값입니다. Jev는 이 부분만 담당합니다.

## 시스템 원 모델이라는 입지를 설명하고자 합니다.

System One은 사람들이 무의식적으로 내리는 빠른 판단, 즉 직관적인 판단을 소프트웨어 내에서 수행하도록 하는 역할을 의미하며 사용됩니다. 이름 또한 이러한 대조에서 비롯되었습니다. System One은 빠르고, 정해진 형식으로 판단하는 쪽에 해당하며, 기존의 대화형 AI는 시간을 가지고도 문장을 통해 생각하고 설명하는 쪽에 해당합니다.

제브는 그 역할을 처음부터 맡지 않았기 때문에, 출력은 정의된 선택지와 신뢰도에 한정됩니다.

문의 형태는 대략 3가지 종류입니다.

- 분류: 제약, 기술, 영업 중 어느 분야로 분류할 것인지
- 점수 평가: 긴급성은 어느 정도인가?
- 검증: 이 대응이 규약에 부합하는지 확인한다.

모든 항목에 대해 자유로운 답변은 요구하지 않습니다. 출력 프레임을 먼저 정의하고, 그 안에서 판단하도록 유도하여 반환값을 후속 라우팅이나 조건 분기에 쉽게 전달할 수 있습니다.

## 제브(Jev)가 효과가 나는 곳은 어디인가요?

공개 정보에 따르면, Jev는 일반적인 정확도 측면에서 최고 수준을 자랑하는 모델은 아니며, 문장 생성에 특화된 모델이 아니므로,そもそも 문서를 출력하지 않습니다. 비교해야 할 것은 레이턴시, 비용, 출력 처리의 용이성 3가지 요소입니다.

레이턴시를 살펴보겠습니다. 대화 UI의 경우 몇 초의 대기는 허용되지만, 그 뒤에서 수만 건을 처리하는 파이프라인에서는 몇 초도 지나치게 깁니다. Jev는 사용 사례에 따라 차이가 있긴 하지만, 사용자가 “기다린” 느낌을 받지 않도록 목표로 하는 응답 속도를 지향하고 있습니다.

비용에 대한 접근 방식도 동일한 방향입니다. 개당으로는 현재 LLM으로는 큰 금액이 되지 않지만, 매일 수만 건, 수십만 건으로 늘어나면 상황이 달라집니다. Jev는 입력 측의 단가가 저렴하고, 출력 측에는 기본적으로 요금을 부과하지 않는 요금 체계로, 대량의 판단 처리를 전제로 한 가격 설정입니다.

출력의 용이성은 시스템 연계를 담당하는 사람일수록 더욱 실감하기 쉽습니다. 생성형 LLM이 뛰어나다고 해도, 가끔 지시하지 않은 문구를 덧붙이는 경우가 있습니다. 연계하는 측에서 보면, 이것이 가장 골치 아픕니다. Jev는 처음부터 선택지 중에서 답을 하도록 설계되어 있어, 부서 배정, 자동 처리, 사람에게 에스컬레이션과 같은 후속 단계의 분기 처리가 용이합니다.

비유하자면, Jev는 상담역과 접수 담당자와 같은 역할을 합니다. 내용을 확인하여 “여깁니다”, “급합니다”, “상장 확인이 필요합니다”라고 분류하는 것이 그의 업무이며, 상황을 듣고 진지하게 대화하는 것은 상담역의 역할입니다.

기존 LLM을 대체 후보로 평가했을 때 기대에 미치지 못하며, 생성 기반 LLM 옆에 판단만 수행하는 컴포넌트로서 설계에 통합하는 것이 현실과 더 가깝다고 판단됩니다.

적용 가능한 분야는 다음과 같습니다.

- 문의 사항 경로 설정
- 신청 및 요청에 대한 1차 검토
- 대량 문서의 태깅
- AI가 생성한 텍스트 또는 이에 대한 사후 검토
- UI 작동 중에는 사용자를 기다리지 않도록 결정해야 합니다.

반대로, 고객 대상 답변 작성, 기획 아이디어 구체화, 판단 이유를 장황하게 설명하게 하는 용도, 출력 틀이 아직 정의되지 않은 문의에는 적합하지 않습니다. 여기서는 계속해서 생성형 LLM의 영역입니다.

## 도입 설계의 핵심은 다음과 같습니다.

먼저, 타겟 사용자의 니즈를 깊이 이해하는 것이 중요합니다. 그들이 무엇을 원하는지, 어떤 과제를 겪고 있는지 상세히 분석하고, 이에 맞춰 기능이나 콘텐츠를 설계해 나가야 합니다.

다음으로, 콘텐츠의 질을 철저히 높여야 합니다. 단순히 정보를 나열하는 것보다, 사용자에게 가치 있는, 명확하고 매력적인 콘텐츠를 제작하는 것이 필요합니다.

더욱이, 콘텐츠의 전달 방식도 중요합니다. 타겟 사용자가 가장 많이 이용하는 플랫폼을 선정하고, 최적의 전달 일정을 계획함으로써, 더 많은 사용자에게 콘텐츠를 전달할 수 있습니다.

마지막으로, 콘텐츠의 효과를 측정하고 개선을 반복하는 것이 필수적입니다. 접속 수, 참여율, 전환율 등을 분석하고 콘텐츠 개선에 활용함으로써, 더욱 효과적인 도입 설계를 실현할 수 있습니다.

Jev 도입 시 흔히 어려움을 겪는 부분은 모델명 비교보다 Jev에게 맡기는 업무와 사람, 기존 규칙을 명확히 구분하는 데 있습니다.

### 규칙에 따라 결정된 것은 규칙으로 남겨두십시오.

만료되었는지, 금액이 최대치를 초과하지 않았는지, 필수 항목이 비어 있지 않은지 등과 같은 판단은 기존의 유효성 검사나 업무 규칙으로 충분하며, AI로 대체하기보다는 안정적입니다.

제비(Jev)에 회부하는 것은 내용이 읽힐 수 있지만, 규칙상으로는 구분하기 어려운 판단입니다. 분노의 강도, 어느 부서의 사안인지, 사내 정책에서 벗어날 것 같은지 등과 관련된 사항이 여기에 해당됩니다.

### 업무를 작은 판단으로 분해하십시오.

이 사건을 잘 처리해라”와 같은 굵직한 질문은 제브에게는 적합하지 않습니다. 어느 부서인지, 서둘러야 하는지, 환불 확인이 필요한지, 사람의 검토가 필요한지 등 단순한 판단으로 나누어 전달합니다.

개별적인 판단은 단순하더라도, 후속 단계에서 조합하면 업무 판단이 됩니다. 거대한 질문을 한 번에 던지면, 돌아온 값이 무엇을 의미하는지 해석하기 어려워집니다.

### 맥락은 판단에 필요한 만큼만 제공합니다.

과거의 대화를 모두 전달할 필요는 없습니다. 이번 메시지, 관련 주문, 사내 정책, 직전의 대응안 등 판단에 필요한 정보에만 한정합니다. 맥락을 불필요하게 늘리면 오히려 판단이 흐트러질 수 있습니다.

### 신뢰도에 따라 라우팅을 우선 결정한다.

제브는 정답과 함께 신뢰도를 반환할 수 있는 점을 활용해야 합니다. 그렇지 않으면 단순 자동 분류기와 다를 바가 없습니다.

운영 단계에서는 처음부터 3단계 분배를 준비해두면 진행이 훨씬 수월합니다.

- 신뢰도가 높습니다: 자동화 처리
- 확신도는 중정도로 자동 처리 후 사후에 사람이 검토합니다.
- 신뢰도는 낮다: 처음부터 사람에게 전달하는

제브의 특성을 살리는 방법은 완벽한 정답률을 목표로 하는 것보다 의심스러운 것들만 사람에게 돌려놓는 인간-인-루프 구조를 만드는 것이다.

### 생성 및 검증을 별개의 구성 요소로 분리한다.

생성형 LLM에 답변 문서를 작성하게 하고, Jev에게는 작성하지 않습니다. Jev에게 맡기는 것은 발송 전 확인으로, 부적절한 표현이 없는지, 규정 및 상반되는 내용이 없는지, 그대로 발송해도 되는지 판단하도록 하는 것입니다. 생성과 검토를 이렇게 분리하는 방식이 현재 가장 이해하기 쉬운 Jev 사용법입니다.

번호나 금액의 추출에도 동일한 방식이 사용될 수 있습니다. 본문에서 후보를 추출하는 것은 기존의 메커니즘을 활용하고, 어떤 후보가 정확한지 Jev에게 선택하도록 합니다. 최종적인 정제는 사람이나 일반적인 시스템이 담당합니다.

### 기존 업무의 한 단계를 시도해 보세요.

갑자기 핵심 부분에 통합하는 것은 피하는 것이 좋습니다. 눈에 띄는 신규 건으로 시도하기보다는 현재 사람들이 분배하거나 검토하고 있는 업무의 한 단계를 대체해 보면서 테스트해 볼 수 있습니다.

평가에서는 정답률 외에도 다음 4가지 사항을 확인합니다.

- 레이턴시는 줄었는가
- 1건당 비용은 하락했는가
- 사람에게 전달되는 건수 자체를 줄었는지, 아니면 오히려 줄어들지 않고 계속 늘어나고 있는지에 대한 문제입니다.
- 사람에게 돌아간 사건은 정말로 검토할 가치가 있었는지

이 정도까지는 얼마나 펼쳐서 볼 가치가 있는지 판단할 수 있습니다.

## 공식 발표된 수치를 어떻게 읽는지

공식 발표에는 “수십 배나 빠르고”, “수십 배나 저렴한” 등의 수치가 나열되어 있습니다. 일반적으로는 정확한 내용이지만, 광고용으로 가장 유리한 경우만 포함되어 있어 어떤 워크로드에서도 동일한 배율이 나오는 것은 아닙니다.

정확성은 용도에 따라 다릅니다. 전체적인 경로 설정에는 충분하더라도 경계 지역의 경우에는 사람의 확인이 필요할 수 있습니다.

발표의 최대치를 쫓는 것보다, 자사 데이터로 수십 건을 평가하는 것이 빠를 것입니다. 평가 세트에는 누구나 분명한 경우 외에, 현장에서 판단이 갈리는 사례를 더 많이 포함하고 싶습니다. 그렇게 낮은 확신도를 반환하는 사례로 판단한다면 활용 가치가 있습니다. 높은 확신도의 상태로 틀리는 경우에는 아직 본가에 올라갈 수 없습니다.

실제 경험 추가: 내부 데이터에서 Jev를 평가했을 때의 조건 및 결과

제브는 현재 조기 액세스 단계에 있습니다. 곧 전사 확산이 가능한 상태가 되기까지는 아직 시간이 걸릴 것이며, 특성을 이해한 팀으로부터 검증을 시작하는 시기라고 판단합니다.

## 도입 전에 결정해야 할 것

제브(Jev)는 사람들이 일상적으로 무심하게 하는 “다음에는 저쪽으로”라는 판단을 시스템 안에 구현하기 위한 모델입니다. 일반적인 챗 모델의 상위 버전과는 완전히 다른 개념으로, 업무 흐름에서 반복적으로 발생하는 판단을 지연 시간과 비용이 적게 드는 방식으로, 후속 처리에 연결하기 용이한 형태로 반환합니다. 특히, 접수, 분류, 검토를 대량으로 처리할 수 있다는 점에서 가치를 발휘합니다.

따라서 도입 설계 단계에서도 기술 선정보다 먼저 역할 분담을 명확히 하고 싶습니다. 규칙으로 작성 가능한 부분은 규칙에 남겨두고, Jev에게는 소규모 판단만 맡깁니다. 확신도가 낮은 부분은 담당자에게 회부합니다. 생성(generation)을 담당하는 LLM과는 별도의 컴포넌트로 분리하며, 처음에는 단일 단계부터 시도해봅니다. 이 역할 분담을 먼저 결정된 프로젝트일수록 Jev의 효과는 더욱 명확하게 드러납니다.

**출처:** [note 원문](https://note.com/dende2023/n/neb9016378f29)

*번역: Gemma 3(.44) 초벌 + 교정 48청크*

[원문 보기](https://note.com/dende2023/n/neb9016378f29) | 출처: note.com