2026년 9월 15일, “글 쓰는 것을 하지 않는 AI”가 등장했다.
미 타입세프 AI가 공개한 “제브”라는 AI 모델입니다.
ChatGPT에 질문하면 글이 돌아온다. 이미지 생성 AI라면 이미지가 돌아온다. 최근 몇 년 동안 우리는 마치 AI가 ‘무언가를 생성하는 것’이라고 생각하게 된 것 같다.
그러나 제프는 문장 생성을 중단했다.
이 문의는 어느 부서로 회부해야 하는가, 이 게시물은 어느 정도 위험한가, 이 문서는 환불 요청에 해당하는가와 같은 질문에 대해, 사전에 정해진 형식에 따라 판단과 확률을 제공한다.
예를 들어 문의를 분류할 때는 다음과 같은 방식으로 생각할 수 있습니다.
배송 관련 92% 환불, 6% 기타, 2% 기타
AI는 장황한 답변 대신 “대략 배송에 관한 이야기인데, 확률 92%” 정도의 판단을 숫자로 반환하고, 그렇게 일이 끝난다.
문의 내용을 신중하게 검토한 결과……라는 문장은 쓰지 않는다.
애상이 없지만, 소프트웨어 입장에서는 그것이 더 유리하다.
TypeSafe AI는 Jev를 자사의 “System One Model”이라는 새로운 유형의 모델로 소개하고 있으며, 공식적으로 발표된 응답 시간은 70~500밀리초, 요금은 입력 100만 토큰당 0.042달러입니다. LangChain이 9월 20일에 발표한 제한적인 평가에서도 Jev는 평균 0.44초에 응답하며, 비교한 모델 중 가장 빠르고 저렴한 것으로 나타났습니다. 다만, 아직 좁은 범위의 초기 평가 결과입니다.
TypeSafe AI는 “환각을 하지 않는다”라고도 홍보하고 있습니다. 따라서 주의가 필요합니다.
강조되는 부분은 사전에 정의된 유형에서 벗어난 출력을 하지 않는다는 점입니다. 존재하지 않는 선택지를 임의로 생성하거나, 프로그램이 처리할 수 없는 형식을 반환하지 않습니다. 하지만 준비된 선택지 중에서 잘못된 것을 선택할 가능성은 완전히 소멸하는 것이 아닙니다.
제브는 “실수를 하지 않는 AI”가 아니다.
매우 빠른 속도로, 저렴한 비용으로, 대량으로 잘못된 판단을 실행하기 위해 만들어진 AI라고 생각하는 것이 더 적절할 것이다.
그때, 저는 거기에서 발목이 잡혔습니다.
제브가 성공했을 때, 우리는 제브를 많이 활용하게 될까?
음, 틀린 듯.
우리는 제브를 더 이상 만나지 않는다.
성공할수록 모습을 감추는 AI
제브는 일반 사용자가 앱을 열어 이야기할 수 있는 AI가 아니다. 제브는 분류, 라우팅, 평가, 검증 등의 처리에 통합되어 소프트웨어의 다음 동작을 결정하는 데 활용된다.
사용자는 Jev에게 질문하지 않고, 그저 서비스를 이용할 뿐입니다. 그 이면에서 AI가 판단하여 다음 화면이 나타납니다.
AI는 인간과 대화하지 않지만, 화면 표시, 연결 담당자, 처리 중단 지점 등을 변경한다.
제브의 매력은 “글을 쓰지 않는 AI”라는 점 그 이상으로, “사람과 대화하지 않아도 업무를 수행할 수 있는 AI”일지도 모른다.
생각해 보면, 이는 기술 세계에서는 흔치 않은 일이 아니다. 우리는 지도 앱을 사용할 때마다 GPS 위성을 의식하지도 않고, 웹 페이지를 볼 때마다 통신 규격에 대해 생각하지도 않는다.
1991년, 유비키타스 컴퓨팅을 제안한 마크 와이저는 깊숙이 생활에 스며든 컴퓨터가 결국 의식의 중심에서 물러나 일상적인 배경으로 녹아드는 것을 생각했다.
기술에는 잘 작동할수록 모습을 감추는 것들이 있다.
그렇다면 현재의 “ChatGPT를 열고 → AI에게 질문하고 → AI가 답하는” 경험이, 뒤돌아보면 특이한 것일지도 모른다. AI가 아직 “여기 있는” 것처럼 느껴지는 시대이기 때문이다.
하지만 AI에는 GPS나 통신 규격과는 조금 다른 점이 있습니다.
AI는 가끔 인간을 판단한다.
문제는 AI가 보이지 않는 것인지 여부이다.
이메일을 스팸 메일로 분류하고, 문의 사항을 담당 부서로 전달한다. 이 정도 수준이면 AI가 뒤에서 조용히 작동해도 크게 문제가 되지 않는다.
하지만 이 사람에게 자금을 빌려줄지, 이 지원자를 면접 단계로 진행할지, 이 계정을 정지할지, 이 사람을 행정 서비스 대상으로 할지 결정할 때마다 똑같은 ‘판단’이라도 인간에게 돌아오는 무게감이 달라진다.
처음에는 저는 “중요한 인공지능은 인간이 볼 수 있는 상태로 유지해야 하는가”라는 생각에 빠져들었습니다.
하지만, 조사해 나가는 과정에서 이 질문 자체가 약간 어긋나 있다는 것을 깨달았다.
화면 안에 AI 캐릭터가 있었고, “심사 결과, 귀하에게는 대출을 제공할 수 없었습니다”라고 정중하게 설명해 주었다고 한다. AI는 매우 널리 퍼져 있다.
하지만, 판단의 근거가 무엇인지 알 수 없습니다. 데이터 수정이 불가능하며, 인간 재검토를 요청할 수 없습니다. 책임 소재 또한 불분명합니다.
이렇게 하면 AI가 보이지 않아도 거의 의미가 없다.
반면 AI가 완전히 백엔드에 있더라도 “이 판단에는 자동화 시스템이 사용되었습니다”, “판단에 사용된 정보는 다음과 같습니다”, “사실에 오류가 있는 경우 수정할 수 있습니다”, “인간에 의한 재검토는 다음과 같습니다”와 같이 명시적으로 제시된다면 오히려 이 방식이 판단에 더 적극적으로 개입할 수 있는 것이다.
즉, “AI가 인지할 수 있는 것”과 “AI의 판단에 이의를 제기할 수 있는 것”은 동일하지 않다.
AI와 대화할 만한 의미가 있었을까.
여기 오히려, ChatGPT형 AI가 조금 다르게 느껴진다.
우리는 AI에게 “왜?”라고 질문할 수 있으며, “그 근본적인 전제가 틀렸습니다”라고 말할 수도 있습니다. “이러한 상황도 존재합니다”라는 설명을 덧붙일 수도 있습니다.
드롭다운 메뉴라면 A, B, C 중에서만 선택할 수 있습니다. 자연어라면 “そもそも、その三択으로 생각하는 것 자체가 말이 안 된다”라고 할 수 있습니다.
사람은 종류보다 먼저 살아간다.
집안 형편이 어려워 아르바이트를 늘렸습니다. 그 일로 인해 수업에 제대로 다닐 수 없었고, 성적이 떨어졌습니다. 가족들과도 다투었습니다.
이는 “경제”, “학업”, “인간관계” 중 어느 것인가?
자연어에는 그 어색한 상태를 그대로 전달할 수 있는 힘이 있다.
그러다 한 번, “자연어는 기계의 판단에 인간이 반박할 수 있는 중요한 인터페이스라고 생각했다.”
이 부분도 절반은 맞습니다.
반은 틀렸습니다.
AI가 설명하는 것과 투명성은 다릅니다.
AI에게 “왜 그렇게 판단했는가?”라고 질문하면 대답해 くれる. 하지만 그 설명이 실제 판단 이유와는 다를 수 있다.
2023년, 마일스 터핀 등은 대규모 언어 모델이 특정 편향에 영향을 받아 답변을 제시할 때, 그 요인을 설명에서 언급하지 않고, 보다 설득력 있는 다른 이유를 구성하는 경우가 있을 수 있음을 보여주었다. 자연스러운 설명은 내부 판단 과정을 충실히 반영하는 것과는 다를 수 있다.
AI는 여기에 더욱 친절하게 반응할 수 있습니다. “그 판단은 틀렸습니다”라고 말하면 “중요한 지적입니다”라고 답해줄 수도 있습니다. 하지만, 그렇다고 해서 뒤에 있는 심사 결과가 반드시 달라지지 않을 수 있습니다.
AI에게 반박할 수 있고, AI도 들어준다. 그래서 협상이 성사된 듯한 기분이 든다.
하지만 진정으로 필요한 것은 AI에게 사과를 받아내는 것이 아니다.
반박할 수 있는 주장이 결정에 영향을 줄 수 있는 자리까지 전달될 수 있다는 의미이다.
AI가 설명하는 것이 아니라, 경쟁 가능한 시스템
AI와 HCI(인간-컴퓨터 상호작용) 연구에는 ‘contestability’라는 개념이 있다. 여기서 ‘contestability’는 “이의를 제기하고 판단을 다툴 수 있는 것”으로 이해하면 된다.
“왜죠?”라는 질문 외에도, “판단 근거가 잘못됐어요”, “이 상황을 더 고려하여 다시 검토해 줬으면 좋겠어요”, “사람이 검토해 줬으면 좋겠어요”와 같이 그 내용을 받아들이고 실제로 판단에 개입할 수 있는 사람이 있는 것이 중요합니다.
카스·알프링크를 비롯한 Contestable AI 연구에서는 설명 가능성, 인간 검토, 판단에 대한 상호작용적 개입 등이 AI가 경쟁력을 갖추도록 하는 데 중요한 설계 요소로 제시된다.
민 keygen 리 연구팀은 2019년, 알고리즘 기반의 자원 배분을 대상으로 투명성과 결과에 대한 개입을 비교했다. 특정 실험 상황에서는 판단 기준을 자세히 설명하는 것만으로는 공정성은 높아지지 않았고, 설명 효과 또한 일률적이지 않았다. 반면, 참가자들이 결과를 조정할 수 있는 메커니즘은 공정하다고 느끼는 감각을 높였다. 일반화에는 주의가 필요하지만, “설명을 받는 것”과 “결정에 손을 뻗을 수 있는 것”은 다른 가치를 지닌 것으로 나타났다.
법률도 비슷한 방향을 향하고 있다.
EU AI 법안은 고위험 AI에 대해 인간이 출력을 적절히 감시하고, 필요하다면 무시하거나, 덮어쓰거나, 반전시키거나, 중단할 수 있도록 요구하고 있다. 또한 일정한 중대한 개별 판단에서는 AI가 의사 결정에 미쳤던 역할 등에 대해 “명확하고 의미 있는 설명”을 받을 권리를 규정하고 있다. GDPR 제22조 또한 일정한 완전 자동화된 의사 결정에 대해 인간의 개입을 얻고, 자신의 의견을 진술하며, 결정에 이의를 제기할 것을 보장하고 있다.
중요한 것은 AI를 화면에 표시하는 것이 아니에요.
필요한 때, 판단에 신중을 기할 수 있는 것이 중요하다.
스팸 메일과 채용 AI는 무엇이 다른가
그러면 어떤 AI를 보이지 않게 해도 될까.
판단에 미치는 영향과 취소 가능성 외에도, 저는 또 다른 점이 궁금합니다.
실수를 인지하는가
이메일이 도착하지 않아 스팸 메일 폴더를 확인합니다. 필요한 이메일이 있다면 스팸 메일로 분류하지 않도록 다시 보내 수신함을 되돌릴 수 있습니다.
AI가 오탐을 하더라도 오류를 발견하고 수정할 수 있습니다. 그래서 스팸 필터가 거의 완벽하지 않아도 크게 문제가 되지 않습니다.
그러면 채용 AI는 어떨까요.
지원 서류를 AI가 읽고 “이 사람은 면접에 들지 못한다”고 판단했다는 주장이 있다. 본인에게 전달되는 것은 “이번에는 채용을 거절하게 해주신다”는 이메일뿐일 수도 있다.
AI가 사용된 사실조차 모른 채, 경력 연도의 날짜를 잘못 읽는 경우도 알지 못합니다. 게다가 “실수가 발생했을 가능성”조차 인지하지 못합니다.
이의를 제기하기 위해서는 우선 이의를 제기할 사유가 있었다는 것을 알아야 합니다.
AI가 사라지는 것이 좋은지에 대한 판단은 단순히 그 판단이 중대하느냐, 되돌릴 수 있느냐, 누군가에게 말하면 바로잡을 수 있느냐뿐만 아니라, ‘실수를 했을 때 본인 스스로 그것에 깨달을 수 있는지’에도 따라 달라질 수 있는 것은 아닐까.
제브라는 이름이 조금 낯설고 무섭게 느껴진다.
여기에서 제브로 돌아갑니다.
제브라는 이름은 19세기 경제학자 윌리엄 스탠리 제보스에 유래했다.
제보네스는 증기기관의 효율이 상승하면 석탄 소비량은 줄어들 것이라고 예상했지만, 이용 비용이 하락하고 용도가 확대되면서 사회 전체적으로는 석탄 소비량이 증가하는 현상을 논했다.
TypeSafe AI 자체도 이 아이디어를 제브(Jev)의 명명 이유로 제시하고 있다. 인공지능의 비용이 크게 낮아진다면, 그동안 경제적 타당성이 없었던 용도까지 인공지능이 확장될 수 있다는 의미다.
이 부분부터는 아직 사실이 아니다.
하지만, 하나의 미래를 상상해 볼 수 있습니다.
AI 판단이 확산되면서 “여기에는 AI를 넣어도 될 일이 아닌데”라고 여겨졌던 곳에도 판단이 내려지게 되었다.
어떤 상품을 먼저 처리할지 결정하고, 지원팀 연결 여부와 본인 확인 추가 여부, 우선 순위 약간 낮추기 여부를 확인해야 합니다.
한 가지는 인생을 좌우하는 정도의 결정이 아니다. 하지만 그것이 수백 번, 수천 번과 같이 쌓이면 어떨까.
그때, “AI 판단에 이의를 제기하는” 방식 자체가 어려워졌다.
어느 판단에 이의를 제기해야 할까요?
제가 경험한 불이익이 백 개의 작은 판단들이 조금씩 같은 방향으로 기울어진 결과 だったら.
AI 판단이 덜 비용이 들게 되는 것의 진정한 의미는 단일 AI가 막대한 결정을 내리는 것이 아닌 것이다. “결정”이라고 부를 정도는 아니었던 미세한 선별이 사회 곳곳에 늘어나는 것일지도 모른다.
이쪽이 조금 더 신경 쓰입니다.
하지만 모든 것을 다 보여주셔도 난 여전히 어려울 거예요.
그렇다고 해서 “AI가 판단할 때마다 알림을 보내자”라는 방식으로는 삶이 될 수 없다.
뉴스에 따르면 “표시 순서는 AI가 사용되고 있습니다.”, 이메일을 열람하면 “스팸 메일 판별에 AI가 사용되고 있습니다.”, 쇼핑을 할 때면 “상품 표시 순서에 AI가 사용되고 있습니다.”
매일 그런 종류의 알림을 수백 번도 확인하는 사회에서 인간이 자유로워했다고 말할 수 있을까.
오히려, AI를 감시하는 일을 이용자에게 강요하고 있는 것이다.
기술이 배경으로 물러나는 것에는 분명히 가치가 있다. 평소에는 보이지 않아도 좋다.
단지, 무언가 석연치 않은 것을 느꼈을 때, 자신에게 심각한 불이익이 발생했을 때 “왜?”라는 질문이 들릴 때에는 배경 속에 잠겨있던 판단을 여기 쪽으로 끌어내야 한다.
무슨 일이 일어났길래. 어떤 것을 기준으로 했으며, 어디가 잘못되었는지. 누구에게 말해서 바로잡힐지. 그리고 그 상대에게 정말로 바로잡을 권한이 있는 걸까.
그 길을 완전히 삭제해서는 안 됩니다.
AI가 사라진 뒤, 우리에게 무엇이 남을까.
AI에 대해 이야기할 때 “AI를 사용해야 하는가, 사용하지 말아야 하는가”라는 질문이 자주 제기된다.
하지만 제브를 보면서, 그 질문만으로는 조금 부족한 느낌이 들 것 같다.
AI는 아마도 사회의 더 깊숙한 곳으로 파고들 것이다. 정말 편리해질수록 우리는 AI를 의식하지 않게 될 것이다. 그것 자체가 나쁜 것은 아니지만, 좋은 기술은 때때로 모습을 감추는 기술이기도 하다.
그러니까 문제의 핵심은 “AI를 어느 정도까지 투명하게 공개할 것인가”인지가 아닐 수도 있다.
더욱이, 어느 정도 보이지 않게 하더라도, 인간이 필요한 순간에는 그 판단으로 돌아갈 수 있도록 하는 것이어야.
그러고 싶다.
AI와 이야기할 수 있는 것에도 의미가 있다. 인간은 언어에 의해서 “그 분류로는 부족하다”거나 “나는 거기서 벗어나 있다”라고 자신의 상태를 표현할 수 있다.
하지만 AI가 얼마나 친절하게 말을 들어주고 응답해 준다 하더라도, 그 말이 결정적인 변화를 가져올 수 있는 곳까지 전달되어야만 한다.
반대로, 평소 AI가 침묵하고 있어도, 필요한 때에 판단을 내려 실행하고, 그 이유를 확인하며, 실수를 지적하고, 결정 자체를 바꿀 권한을 가진 인간까지 도달할 수 있다면, 그것은 상당히 자유로운 사회일지도 모른다.
제브는 글을 쓰지 않는다. 아마도 우리는 제브와 이야기할 일도 없을 것이다. 그리고 그것 또한 괜찮은 장소가 많다.
AI는 보이지 않는 게 좋을지도 모른다.
하지만 한 가지 말씀드리자면.
인간이 “기다려”라고 말했을 때, 그 목소리가 닿을 수 있는 길까지 가로막지 않고 살펴봐야 합니다.
참고 문헌 및 자료
- TypeSafe AI, “Introducing System One Models & Jev,” 2026. Jev의 사양, 가격, 레이턴시, RLCD, 명명 철학에 관한 1차 자료. TypeSafe AI 공식 기사
- Shea, Daniel & Seán Roche, “Jev를 에이전트 평가관으로 활용한 초기 평가,” LangChain, 2026. Jev를 에이전트 평가관으로 활용한 초기 평가에 대한 LangChain 평가 결과.
- 위저, 마크, “21세기 컴퓨터” (Scientific American, 265권 3호, 1991년, p.94–104. DOI: 10.1038/scientificamerican0991-94) 유비키타스 컴퓨팅의 대표적인 원전.
- 터핀, 마일스, 저울 미첼, 에탄 페레스 & 사무엘 R. 보먼, “언어 모델이 항상 자신이 생각하는 것을 말하지 않는다는 점: 체인 오브 Thought 데이터 프롬프팅에서 불성실한 설명” NeurIPS 2023. LLM을 활용한 자연어 설명의 신뢰성 검증 연구 논문.
- 알프링크, 카스, 이안 켈러, 게르트 코르투엠, 니엘크 두른, “설계 기반의 도전 가능한 AI: 프레임워크로 향하여”, 마인즈 앤 머신즈, 2023년 33권 613~639페이지, DOI: 10.1007/s11023-022-09611-z. 스프링거 출판.
- Lee, Min Kyung, Anuraag Jain, Hea Jin Cha, Shashank Ojha & Daniel Kusbit, “알고리즘 공정성에 대한 절차적 정의: 투명성과 결과 통제를 활용한 공정한 알고리즘 중재,” Proceedings of the ACM on Human-Computer Interaction, 3(CSCW), Article 182, 2019. DOI: 10.1145/3359284.
- 유럽 의회 및 유럽 연합 이사회의 규정(EU) 2024/1689, 인공지능법. 특히 제14조 “인간 감독”, 제86조 “개별 의사 결정에 대한 설명권”이 포함된다. EU 인공지능법 공식 전체 내용.
- 유럽 의회 및 유럽 연합 이사회 규정(EU) 2016/679, 일반 개인정보 보호법(GDPR), 제22조 “자동화된 개인적 결정 및 프로파일링”
출처: note 원문
번역: Gemma 3(.44) 초벌 + 교정 76청크
원문 보기 | 출처: note.com