# AI가 만든 것을 인간이 확인하지 않는 미래는 올까?

> https://bookfactory.kr/c/ai-tech/11232
> 게시판: AI·머신러닝
> 작성자: admin
> 작성일: 2026-09-12T05:31:22.423Z

---

![見出し画像](https://assets.st-note.com/production/uploads/images/306574033/rectangle_large_type_2_14023c3b51cef3dbc22712cfa78a5f99.png?width=1280)

클로이드(Claude)나 코덱스(Codex)에 업무를 맡기고 인간은 아무런 노력 없이 수익을 얻는 — 이러한 말이 인터넷에서 점점 더 많이 눈에 띄고 있습니다. AI 에이전트는 이미 코드를 작성하고, 웹 서비스를 만들고, 글을 게시하며, 장시간 동안 업무를 수행할 수 있습니다. 그렇다면 “인간이 확인하지 않는 미래”는 이미 도래한 것일까요.

그 감각은 절반은 옳다고 생각합니다. 인간이 중간 과정 없이 AI에게 일을 맡기는 것은 이미 시작되고 있습니다. 하지만 “움직였다”, “매상이 발생했다”와 같은 것과 “의도대로 움직였다”, “설명이나 근거가 옳다”, “실패했을 때 원인을 추적할 수 있다”는 것은 같은 의미가 아닙니다.

이번 논문이 다루는 것은 AI가 자율적으로 기능할 수 있는가 하는 문제가 아닙니다. AI가 인간이 감당하기에는 너무 방대한 양의 결과물을 만들어낼 때, 우리는 어떤 근거로 그것을 받아들여야 하는가라는 질문에 답하고자 했습니다. 이 질문에 대한 하나의 사례 연구로, 기계 검증 가능한 증거를 공정에 포함함으로써 답을 찾으려 했습니다.

원제는 제스틴 하이키의 “AI with Authority, from Application to Silicon”입니다. 직역하면 “권위 있는 AI – 애플리케이션부터 실리콘까지”입니다. 본 기사의 제목은 논문의 결론을 그대로 옮긴 것이 아니며, 오히려 “인간의 검토 변화”라는 질문을 조금 더 확장한 것입니다.

본고에서는 2026년 8월 21일에 공개된 arXiv v1 프리프린트 본문만을 근거로 소개합니다. 전문가가 AI 에이전트 군을 지휘한 단일 사례 보고입니다.

오늘도 1시간

## 인간은 이미 확인하지 않았다는 의미인가요?

AI가 일정 수준의 작업을 수행하고, 그 결과로 수익이 발생할 수 있다는 점입니다. 물론 모든 사례가 과장된 것은 아니라는 의미는 아닙니다.

하지만 매출이 발생했다는 사실만으로는 중간 설명의 정확성, 이용 약관 준수, 동일 방법의 재현 가능성, 예상치 못한 상황에 대처할 수 있다는 점까지 증명하지는 않습니다. 결과가 나왔고, 그 과정을 장기간 신뢰할 수 있다는 사실은 또 다른 문제입니다.

이 논문의 의미는 “AI만으로 업무를 수행할 수 있었다”고 주장한 점에는 있지 않습니다. 인간이 하나하나 읽지 않아도 괜찮은 결과를, 어떤 근거로 받아들이는가 하는 문제입니다. 그 수용 조건을, 뒤에서 확인 가능한 증거와 함께 설계하려 했다는 점에 있습니다. SNS에서 눈에 띄는 것이 “AI는 어디까지 자동으로 작동할 수 있는가”라면, 이 논문이 묻는 것은 “자동으로 작동한 결과물을, 어디까지 신뢰할 수 있는가”입니다.

## 논문의 주장을 명확히 밝히다

논문에서 제안하는 작업 방법은 “솔트 방법”이라고 부릅니다. AI에 영어로 요청하면 “구현”, “사양”, “구현이 사양을 기계적으로 충족하는지 증명”, “증명에 실효성이 있는지 확인하는 적대적 테스트”, 그리고 “증명 내용을 쉽게 풀어쓴 설명용 증명서” – 이 다섯 가지를 반환받습니다.

수학적 주장은 Lean 4의 커널에서 검사하며, 커널이 직접 처리할 수 없는 설계나 측정과 같은 경우에는 적대적 반증, 이름 붙인 측정기, 독립적인 재검토를 수행합니다. 인간은 “장대한 증명 그 자체”가 아닌, 증명서를 읽고, 질문하고, 사양이 의도대로 작동하는지 판단합니다.

저자는 “검증의 경제성”을 중심으로 논한다. 생성 속도가 빠르고 비용이 저렴해지더라도 그 출력을 처음부터 정확하게 처리할 수 없기 때문이다. 그래서 이 사례와 같은 조건에서는 기계 검증이 단순한 추가 부담이 아닌, 방대한 양의 생성물을 다루기 위한 필수적인 전제 요건이 될 수 있다. 기존에는 예외적인 결과물에만 적용하기 어려웠던 대규모 형식 검증도 AI의 생성 속도와 결합한다면 실무적으로도 실현 가능할 것으로 보인다. 이는 논문이 다루는 특정 조건에 한정된 주장이며, 모든 AI 개발에 적용될 수 있다고 입증된 것은 아니다.

## 실시된 사례 연구

저자는 AI 에이전트에게 코디네이터, 수학, 컴파일러, 실리콘, 증거라는 다섯 가지 역할을 할당하고, 공유 리포지토리와 추적형 대장으로 운영했습니다. 인간은 정기적인 회의에서 주요 설계 결정을 내렸으며, 실행 단계의 세부 사항은 에이전트에게 맡겼습니다.

본 결과물은 구조화 언어를 명령セット으로 변환하는 검증된 컴파일러, 멀티태스크 실행 시스템, RISC-V 프로세서 설계로 구성된다. 연구 프로그램 전체는 5주간 지속되었으며, 이 세 가지를 통합한 시스템 그룹에 대해서는 그 5주 기간 중 리포지토리 작업이 7일간 진행되었다고 보고되었다. 또한, 저자가 1990년에 발표한 스위칭 네트워크 이론을 Lean 4에서 형식화하여 그 내용을 회로의 라우팅 설계에 활용하고 있다.

다만, 모든 것을 Lean 4로만 확인한 것은 아닙니다. 사양과 구현 간의 관계는 Lean 4 커널에서, Verilog나 합성 후 넷리스트가 동일한 동작을 하는지 Yosys의 SAT 검사 등을 통해 확인합니다. 2026년 8월 10일 제출본에서는 회로를 구성하는 902개의 플립플롭 중 288개, 31.9%가 검사된 Lean 코드로부터 자동 생성되었습니다. 개정판에서는 칩 배치 후 설계 데이터에 대한 동일한 집계를 아직 수행하지 않았기 때문에 비율은 제시되지 않았습니다. 또한, 물리 칩이 완성된 것이 아니라 커뮤니티용 셔틀에 설계서를 제출한 단계입니다.

## 기록된 결과

이는 대조 실험이 아닌, 특정 공정을 측정한 사례 연구입니다. 수학 리포지토리에서는 37일 동안 2,087개의 커밋, 시스템 측면에서는 7일 동안 1,379개의 커밋이 기록되었습니다. 수학 측면의 Lean 형식화 코드 군은 논문의 추출 방법으로 32만 줄을 초과하고, 또 다른 생 커런트 수로 658,103줄이며, 동일한 방법으로 측정한 mathlib의 29.3%에 해당합니다.

논문은 핵심 검사에서 불합격한 증거는 공식 기록에 남지 않았다고 보고합니다. 그러나 AI가 오류를 범하지 않았다는 의미는 아닙니다. 수락 조건에 미달한 증거를 등록할 수 없는 시스템의 결과입니다. 반면, 오류 기록 번호는 #256까지 진행되었으며, 주장 범위, 오래된 인용, 기관 혼동, 유형 관련 문제 등이 기록되었습니다. 오류를 완전히 없앤 것이 아니라, 오류를 발견하고 발생 원에서 수정하는 흐름을 만들었다는 것이 정확합니다.

경제성 측정에는 사전 등록된 4.86일간의 집계 기간이 사용되었습니다. 출력 토큰은 2,807만, 중복 제거 후 API 요청은 36,844, 삽입된 Lean은 56,951행입니다. 다만, 이 기간은 주요 이론이 발표된 이후이며, 문장 및 설계 작업도 포함하므로 전체에 그대로 적용할 수 없다고 논문 자체에서 밝혔습니다.

동일 기간 동안 인간의 개입 시간은 최소 37시간 21분, 経過した実時間は116시간 40분이었다. 端末에 주입된 기계 생성의 입력을 인간의 조작으로 오인했기 때문에 초기 집계에서 하향 수정된 숫자이다. 또한, 인간이 최소 1시간 동안 조작하지 않았던 시간대에 수학 측의 전체 커밋의 43.0%가 기록되었고, 인간의 조작이 4시간 없었던 시간대에서는 14.5%, 8시간에서는 8.8%였다. 다만, 이러한 자동 작업에 들어가기 전에 설계는 확정되었으며, 반증을 시도하는 과정 또한 완료되었다.

## 논문이 중시하는 것들

저자는 커널을 단순한 검증 도구가 아닌, AI의 결과물을 수용할지 결정하는 “심사관”으로 봅니다. 측정 범위의 과장이나, 검증받지 않은 경계에 측정기를 사용하는 사례가 발견될 때마다 이를 절차상의 규칙으로 변환해 나갔다고 설명합니다. 커널이 AI를 제대로 했다는 것보다, 오류를 발견한 후의 처리 방식까지 공정에 포함하는 것이 더 적절하다고 読む 편이 더 가깝습니다.

인간의 역할은 남아 있습니다. 이 방법에서는 인간이 무엇을 만들고 싶은지를 언어로 표현하고, 검증된 주장이 의도한 의미를 정확히 반영하는지 확인하며, 중요한 설계를 평가하고, 제출과 같은 불변의 행동을 실행합니다. 자동화된 것은 확인의 소멸이 아니라, 확인의 장소를 이동하는 것입니다.

## 인간은 결국 한계에 부딪히는 존재입니다. 지식의 한계, 능력의 한계, 심지어 삶의 한계까지. 이러한 한계는 때로는 좌절감을 안겨주지만, 동시에 우리를 성찰하게 하고 더 나은 방향으로 나아가도록 이끌어줍니다. 

가상현실 게임 ‘에버랜드’를 통해 이러한 한계를 경험한 사람들의 이야기는 우리에게 깊은 울림을 주었습니다. 게임 속에서 완벽한 세계를 경험하며 현실의 고통을 잊는 사람들의 모습은, 현실의 한계를 외면하고 싶은 우리의 욕망을 반영하는 것일지도 모릅니다. 

물론, 한계를 극복하는 것은 중요합니다. 하지만 한계를 인정하고 그것을 통해 배우는 자세가 더욱 중요하다고 생각합니다. 

‘인간의 한계’라는 주제로 다룬 책 ‘생각의 숲’의 저자 김민석 박사는 다음과 같이 말합니다. “인간은 한계를 뛰어넘는 존재이며, 한계를 통해 성장하는 존재입니다.” 

우리는 끊임없이 한계를 극복하고 성장하며, 더 나은 미래를 만들어갈 수 있습니다.

본 논문은 새로운 주요 수학 정리를 발견했다고 주장하지 않습니다. 쌍둥이 소수 정설은 여전히 해결되지 않았습니다. 수학적 측면에서 핵심적인 성과는 기존 결과를 형식화한 것과, 이 방법으로는 넘을 수 없는 한계 자체를 기계적으로 확인한 것입니다.

대상은 한 명의 전문가에 의한 단일 사례이며, 다른 연구자, 팀, 분야에서 동일한 결과가 나타날 것이라고 보장하지 않습니다. 검증은 Lean 커널만으로 완료된 것이 아니며, 하드웨어 부분에는 SAT 검사에 의존하는 연결도 남아 있습니다. 일반적인 Verilog를 Lean로 가져오는 공개 임포터는 존재하지 않으며, 토큰 측정은 짧은 기간에만 이루어졌습니다. 달러 단위의 비용, 모델 시간, Lean 형식화 코드의 AI 생성 부분과 인간 제작 부분의 비율을 파악할 수 없으며, 선행 연구에 대한 새로운 주장 또한 조사 시점에 따라 달라집니다. 설계는 아직 물리적인 칩이 아니며, 결론은 실제 측정한 실리콘을 기반으로 하지 않습니다.

## 인간이 확인하지 않는 미래는 올까

AI가 출력한 증거나 코드를 인간이 한 줄씩 확인하지 않는 경우라면, 적어도 이 사례에서는 인간이 개별 증거를 직접 읽지 않고 과정을 진행하여, 특정 단계에서 기계적으로 통과하는 것을 조건으로 인간의 주의를 개별 증거에서 다른 곳으로 돌린 사례로 보고되고 있습니다.

하지만 “인간이 아무것도 확인하지 않는다”는 의미로 해석한다면, 논문의 방법은 오히려 역효과를 낳습니다. 인간은 실제로 필요한 사양인지, 전제가 빠져있지 않은지, 증명서 설명이 의도에 부합하는지, 설계 채택이 적절한지, 외부로 불변적인 조작을 해야 하는지 확인합니다.

이 논문에서 예상할 수 있는 것은 인간이 없는 미래가 아닙니다. 인공지능이 생성하고 실행하며, 기계가 공정 간 연결을 검사하고, 인간이 목적, 경계, 설계, 판단을 담당하는 미래입니다. 이 프리프린트가 제시하는 것은 그 완성된 형태가 아닌, 한계와 철회까지 기록으로 남겨둔 채 시도한 하나의 사례입니다.

움직임 없이 펼쳐지는 미래는 이미 시작되었지만, 확인 자체가 불필요해진 미래는 아직 오지 않았다. 오히려 AI가 만들어내는 양이 늘어날수록 “누가 보느냐”뿐만 아니라 “무엇을 증거로 받아들여야 하는가”가 더 중요해진다. 이 논문의 의미는 바로 거기에 있다고 생각한다.

## 참조

- 논문 페이지: arXiv:2608.21356

최근에 진행된 실험에서, 우리는 챗봇 모델이 생성한 텍스트를 분석하여 모델이 특정 주제에 대해 얼마나 깊이 이해하고 있는지, 그리고 그 이해도가 실제 인간의 이해도와 얼마나 일치하는지 평가했습니다. 이 실험은 특히 챗봇 모델이 복잡한 개념을 얼마나 정확하게 표현하고, 다양한 관점을 얼마나 포괄적으로 다루는지에 대한 중요한 통찰력을 제공했습니다.

구체적으로, 우리는 다양한 분야의 전문가들이 작성한 질문들을 챗봇 모델에 제시하고, 모델의 답변을 평가했습니다. 평가 기준은 단순히 정답 여부뿐만 아니라 답변의 논리성, 명확성, 그리고 관련 정보의 정확성 등을 포함했습니다. 또한, 인간 전문가들이 동일한 질문에 답변한 결과와 비교하여 챗봇 모델의 답변이 얼마나 유사한지, 혹은 차이점은 무엇인지 분석했습니다.

이러한 분석을 통해 챗봇 모델이 특정 분야의 지식을 습득하는 데는 상당한 능력을 보여주지만, 여전히 인간의 직관, 창의성, 그리고 비판적 사고 능력에는 미치지 못한다는 것을 확인했습니다. 특히 챗봇 모델은 종종 겉으로 보이는 정보에만 의존하여 답변을 생성하는 경향이 있으며, 맥락을 제대로 이해하지 못하거나 숨겨진 의미를 파악하지 못하는 경우가 있었습니다.

이러한 한계를 극복하기 위해 챗봇 모델의 학습 데이터를 개선하고, 모델의 추론 능력을 강화하는 연구를 진행하고 있습니다. 또한 챗봇 모델이 인간 전문가와 협력하여 문제를 해결하는 방안에 대한 연구도 활발하게 진행하고 있습니다. 궁극적으로 우리는 챗봇 모델이 인간의 지적 능력을 보완하고 다양한 분야에서 인간의 삶을 풍요롭게 하는 데 기여할 수 있도록 노력할 것입니다.
- 끝까지 읽어주셔서 감사합니다. arXiv:2608.21356v1의 내용을 함께 살펴보았습니다. 여러분의 독서와 탐구에 도움이 되었기를 바랍니다. 좋아요와 팔로우, 공유는 큰 힘이 됩니다. 다음 글에서 다시 만나요.

**출처:** [note 원문](https://note.com/neco_s/n/n65fb1ad74733)

*번역: Gemma 3(.44) 초벌 + 교정 28청크*

[원문 보기](https://note.com/neco_s/n/n65fb1ad74733) | 출처: note.com