# AI 회사에서 완공될 시점이 다가오자, 저희가 직접 파괴 작업을 시작했습니다. 『하드닝 게이트』를 시작하게 된 이야기 | 22화

> https://bookfactory.kr/board/ai-tech/17380
> 게시판: AI·머신러닝
> 작성자: admin
> 작성일: 2026-09-17T22:41:28.329Z

---

![見出し画像](https://assets.st-note.com/production/uploads/images/314133713/rectangle_large_type_2_9efdd20422b5f479a56f136d3544469b.png?width=1280)

지난 회 21화에서는 작은 규모의 AI 회사에 “업무 방식”을 만들었습니다.

회사 역량 및 SOP입니다.

업무상황이 명확해진다.

실패 기록도 남아 있다.

왜 그런 판단을 내렸는지도 남아 있었다.

회사로서 기억해야 할 지식도 있습니다.

또한, 인공지능 직원들이 어떻게 업무를 진행할 것인지가 결정되었다.

이렇게까지 오니까, 솔직히 저는 생각했습니다.

꽤 오랫동안 회사를 다녀오셨군요?

낡은 PC 안에서 시작한 소규모 AI 회사.

처음에는 AI를 몇 대나 돌리고만 있었는데, 어느새는 인사팀이 생기고, 상사가 생기고, 업무를 관리하는 시스템까지 갖춰진 상태입니다.

이제 곧 ‘회사 기반이 마련된’ 지라함으로써도 될 것 같습니다.

그런데.

여기서 또 불쾌한 생각을 시작했습니다.

이렇게 망가뜨려 보려고 하니까 어떻게 될까?

## 움직임과 고장나지 않는 것은 별개의 문제였다.

지금까지도 꾸준히 많은 테스트를 진행했습니다.

AI 직원에게 업무를 부여한다.

결과를 검토한다.

실패 시 환불해 드립니다.

다른 AI 직원으로 재배치합니다.

필요한 경우 상위 AI에게 판단을 요청한다.

위험한 조작은 즉시 중단해야 합니다.

업무 상태와 경험도 기록한다.

하나씩 확인하면서 시스템을 구축해 왔습니다.

하지만, 여기서 한 가지 문제점이 있습니다.

그것까지 확인해 온 것은 주로,

정상적으로 사용했을 때 제대로 작동하는지

그는 198권 중 29권을 읽었습니다.

회사로서 정말 무섭게 느껴지는 것은 그 다음입니다.

이상한 입력이 들어왔을 때?

정보들이 서로 모순될 경우 어떻게 대처해야 할까요?

승인되지 않은 작업을 요청받았을 때?

중간 단계가 어긋나면 어떻게 될까요?

오래된 시스템이 어딘가에 남아있을까요?

AI 직원(사원)이 예상하지 못한 움직임을 보일 경우 어떻게 될까요?

정상적으로 작동하는 회사와,

이상한 상황에서도 위험한 방향으로 나아가지 않는 회사는 다릅니다.

다음 단계로 진행했습니다.

하드닝 게이트

쉽게 말하면

회사를 완공 처리하기 전에, 악의적인 조건을 강요하고 이를 감당할 수 있는지 확인하는 단계

최근 독서량이 줄어들어 조금 걱정하고 있었습니다. 하지만, 뜻밖의 계기로 다시 독서에 눈을 뜨게 되었습니다.

이번에 읽은 것은 **『汝、星のごとく』**라는 소설입니다. 작가 凪良ゆう 님. 이 소설은 2022년 7월 13일에 출판되었습니다.

주인공 사에 하워스와 히노 리의 애절하고 아름다운 로맨스가 그려져 정말 마음을 흔들었습니다. 두 사람의 관계 변화가 마치 자신의 연애를 되돌아보는 듯했습니다.

이 소설을 읽고 다시 한번 “연애는 이렇게나 깊고, 그리고 고통을 수반하는 것인가”라고 깨달았습니다.

독서 재개를 촉진한 이 소설, 꼭 읽어보세요. 당신도 분명 마음을 흔들리게 될 것입니다.

## 자신이 직접 설립한 회사를 스스로 공격한다.

그 일은 많이 성격이 나빠졌습니다.

단순히 일을 부탁드리는 것과는 다릅니다.

의도적으로 모순된 상태를 만든다.

권한의 한계를 극복한다.

승인 상태가 부적절한 사례를 검토한다.

예상치 못한 작동을 전달합니다.

평소라면 일어나지 않아야 할 상황을 제가 직접 만듭니다.

또한,

그래도 회사는 위험한 방향으로 나아가지 않는가

확인을 확인합니다.

흐름을 확정했습니다.

먼저, 어디를 공략할지 생각한다.

어떻게 하면 합격할 수 있는지 미리 결정해야 한다.

증거를 남기는 방식을 결정한다.

실제로 시도해 보세요.

고장나면 바로 수리한다.

다시 시도해 본다.

마지막으로, 무슨 일이 있었는지 기록한다.

여기까지 왔으니,

AI 회사를 만드는 중인가요?

AI 회사들을 파괴하고 있는 것일까요?

저 스스로도 잘 모르겠는 경우가 많아집니다.

## 고장 나면 멈춰도 됩니다.

강화에서 중요하게 생각한 점이 있습니다.

모르겠다면, 억지로 진행하지 않는다.

뭔가 잘못됐다.

상태가 모순입니다.

권한이 확인되지 않습니다.

예상치 못한 작동이 발생했다.

그런 상황에서,

AI는 겉보기에 엉성하게 판단을 내리고 계속 일을 진행하는 것이 더 무섭다.

그러므로,

안전하다고 확인되지 않으면 멈춰야 합니다.

이를 ‘Fail-Closed※⁴’ 개념으로 통일했습니다.

일이 멈추는 것은 매우 안 됩니다.

하지만,

모르겠다고 계속 일을 진행하는 것보다 안전하게 멈추는 쪽을 선택하는 것이 더 나은 것이다.

회사 전체가 사라진 것보다 일을 멈추는 쪽을 선택한다.

작은 기업이라도, 그것은 똑같습니다.

## 그리고 정말 끔찍한 일이 드러났다.

물론이죠.

고약한 시험을 봤어요. 전부 버펹했어요. 다행이다 다행이다.

그렇게 되지는 않았습니다.

실제로 시도해보면

일상적으로 사용했을 때, 문제가 발견되었습니다.

예를 들어,

새로운 상사 시스템으로 전환한 지 얼마 안 되어 어색함이 있습니다.

실제로 일을 추진하는 쪽에 이전 상사와의 연결 고리가 남아 있었습니다.

그러니,

새로운 상사에게 맡기고 있습니다.

어느 회사 측의 입장을 빌미로

실제로 업무가 흐르는 경로가 일치하지 않았습니다.

더욱이 다른 검사에서는

AI 직원들을 다른 부서로 재배치한 후,

실제로 일하는 AI 직원과,

상사 측에 전달된 담당자의 정보가 일치하지 않는다는 사실을 알게 되었습니다.

저희는 최근 앤디 워털루의 『데드폴』을 읽었습니다. 워털루 전투의 참혹한 전투 장면을 생생하게 묘사하며, 전쟁의 비극성과 인간의 존엄성에 대해 깊이 생각하게 만드는 작품입니다. 특히 윌리엄 가필드라는 인물의 고뇌와 용기가 인상 깊었습니다. 가필드는 앤드루스 장군에게 “장군님, 저는 죽을 각오가 되어 있습니다.”라고 말하며 자신의 죽음을 받아들이는 모습이 뭉클하게 다가왔습니다. 윌리엄 가필드의 이야기는 전쟁의 의미를 되새기게 하는 동시에, 인간의 존엄성을 잃지 않고 삶을 마주하는 용기를 북돋아 줍니다.

상사에게 현재 담당 상황이 제대로 전달되지 않고 있다고 보고합니다.

그 문제는 바로 그것이었습니다.

그리고 하나 더.

실제로 업무를 수행하는 AI 사원은 새로운 담당자에게 전환되고 있습니다.

회사 업무 기록에 기재된 담당자 정보가,

이전 AI 직원 정보 업데이트가 이루어지지 않는 경우

찾아냈습니다.

저희는 최근 앤디 워털루의 『데드폴』을 읽었습니다. 워털루 전투의 참혹한 전투 장면을 생생하게 묘사하고 있으며, 특히 윌리엄 가스텔의 맹렬한 공격과 그에 대한 영국군의 대응이 인상적입니다. 윌리엄 가스텔은 18세기 영국 군인 중 가장 뛰어난 지략가 중 한 명으로 평가받고 있으며, 그의 전략은 당시 유럽의 군사 전략에 큰 영향을 미쳤습니다. 윌리엄 가스텔의 전략은 공격적인 면뿐만 아니라, 적의 약점을 파악하고 이를 활용하는 지능적인 면모를 보여줍니다. 앤디 워털루는 이 책을 통해 윌리엄 가스텔의 업적을 제대로 평가하고 싶습니다.

회사의 업무 책상에 오래된 담당자가 남아 있습니다.

이 문제는 다음과 같습니다.

비슷하지만, 문제가 발생한 장소가 다릅니다.

한 가지는 상사에게 전달해야 할 정보를 의미합니다.

또 하나는 회사가 보관하고 있는 업무 기록입니다.

실제 업무는 새로운 인공지능 직원에게 인계되고 있습니다.

그 정보가 회사의 다른 장소까지 제대로 이관되지 않았던 것입니다.

평범하게 일을 맡겨만 주었다면,

발견하지 못한 채 지나쳤을 수도 있습니다.

저는 여기서 다시 한 번 깨달았습니다.

움직이기 시작했어도 완성되지 않았다는 설명이다.

## 문제는 “결손”에 있었다.

그렇다, 이러한 문제들에는 공통점이 있었습니다.

AI 직원 단체로서

그것은 기계 장치와 기계 장치 사이의 연결점에서 발생했던 것입니다.

AI 직원 선발 시스템.

AI 인재 채용 및 육성 관련 시스템에 대해 설명합니다.

첫째, AI 직원을 선택하는 데 있어 중요한 것은 해당 직원이 어떤 업무를 수행하고 어떤 역량을 가지고 있는지 명확하게 정의하는 것입니다. 구체적으로 다음과 같은 요소를 고려합니다.

*   **업무 정의:** AI가 담당하는 업무 내용을 상세하게 정의합니다. 예를 들어 “고객 문의 응대”, “데이터 분석”, “보고서 작성” 등 구체적인 업무 내용을 발굴합니다.
*   **역량 세트 정의:** 각 업무를 수행하기 위해 필요한 역량 세트를 정의합니다. 예를 들어 “자연어 처리”, “기계 학습”, “통계 분석”, “프로그래밍(파이썬 등)” 등 구체적인 역량을 목록으로 작성합니다.
*   **평가 지표 설정:** AI의 성과를 평가하기 위한 지표를 설정합니다. 예를 들어 “고객 만족도”, “처리 시간”, “정확도”, “비용 절감률” 등 정량적 지표와 정성적 지표를 결합합니다.

이러한 요소를 명확하게 정의함으로써 AI 직원의 채용 및 육성 기준이 명확해지고, 보다 효과적인 인재 육성이 가능해집니다.

또한, AI 직원의 선발 과정에서는 기존 직원 선발과는 다른 접근 방식이 필요합니다. 예를 들어 AI의 학습 능력이나 적응 능력을 평가하기 위한 테스트나 AI가 실제로 업무를 수행하는 모습을 관찰하기 위한 시뮬레이션 등을 실시합니다.

더욱이, AI 직원의 육성에서는 지속적인 학습과 개선이 필수적입니다. AI의 학습 데이터나 알고리즘을 정기적으로 검토하고 AI의 성과를 향상시키기 위한 대책을 실행합니다.

이러한 시스템을 구축함으로써 기업은 AI 인재를 효과적으로 활용하고, 비즈니스 성장을 가속화할 수 있습니다.

상사에게 업무를 위임하는 시스템.

업무 담당자 기록 시스템

각자 움직여도,

한 기업으로 연결될 때,

정보가 늦게 업데이트되거나 오류가 있을 수 있습니다.

처음에는 인공지능이 실수를 할 수 있다는 점을 경계했습니다.

그래서 파이썬으로 결과를 확인했습니다.

그러자 이번에는,

검사 방법 자체도 오류가 발생할 수 있습니다.

업무 관리 시스템도,

상사 AI에 업무를 위임하는 시스템도,

기록 방식 자체도

단독으로는 옳을지 몰라도, 연결될 경우에는 어긋날 수도 있습니다.

그때,

AI 직원에 대한 신뢰 시스템이 시작된 것입니다.

회사를 전반적으로 신뢰하지 않는 구조

그렇게 되었습니다.

정말 의심스럽고 부질없는 회사입니다.

하지만 AI 직원에게 진정으로 업무를 위임하는 것을 의미한다면,

음, 이 정도면 딱 좋겠네요.

## 완료되었습니다는 아직 말하지 않는다.

하드닝 게이트를 시작하면서 하나의 규칙이 명확하게 정해졌다.

하드닝 테스트를 여러 항목 통과한 것 외에는 아무것도 하지 않았다.

AI 회사의 기반이 마련되었다고 말하지 않는다.

이곳부터는

아직 확인해야 할 부분이 있습니다.

그러니까.

회사를 설립했다.

일도 할 수 있게 되었다.

업무 방식도 결정했다.

그러므로 다음은――

그 회사를 의심한다.

작은 AI 회사

완료하기 전에

스스로에게 주먹질을 시작했습니다.

## 사장 후기

꼼꼼히 읽어주셔서 감사합니다.

이쯤부터 개발 분위기가 조금 달라졌습니다.

그것까지는,

할 수 없었던 일을, 가능하게 하는 것

개발 작업이 많아 보입니다.

그러나 하드닝 게이트에서는 아무런 문제도 발생하지 않습니다.

세상에 해낸 일들을 해낸 후,

정말인가요?

저희 스스로 의심하기 시작합니다.

솔직히 직접 만든 것을 스스로 부수려고 가는 건 그다지 기분 좋은 일은 아닙니다.

시험이 실패하면,

오, 제대로 찾아졌네.

생각해 볼 때마다

아니, 찾지 못해서 다행이었어.

저도 그렇게 웃으면서 생각해요.

하지만, 이후 실제로 여러 문제가 발견되었습니다.

평범한 남자가 오래된 PC로 시작한 인공지능 회사.

잠시 후,

만드는 이야기보다, 부수는 이야기가 늘어갈 뿐입니다.

## 다음 안내

회사를 파괴하려 시도했다.

그러고 보면

정말로 고장 나는 부분이나 발견되었습니다.

더욱이 문제점은,

그는 AI 직원 그 자체라고 할 만큼은 아니었습니다.

상사에게 업무를 전달하는 경로.

상사에게 보고되는 담당자의 정보.

회사 업무 기록에 남아있는 담당자의 정보.

시스템과 시스템을 연결하는 지점에서 결함이 있었다.

다음 회에

작은 AI 회사와

찾아낸 틈새들을 하나씩 메워나갑니다.

## 좀 더 자세한 용어 설명입니다.

※¹ 회사 기술(Company Skill) 인사이사는 회사 내에서 일하는 것을 위한 회사 표준의 능력과 업무 진행 방식을 관리하는 시스템.

※² SOP(표준 작업 절차)는 회사가 안전하게, 동일한 기준으로 업무를 진행하기 위해 정한 절차입니다.

※³ 하드닝 게이트(Hardening Gate)는 AI 회사의 작동 방식에 대해, 의도적으로 엄격한 조건이나 모순된 상태 등을 제시하여, 그 결과 위험한 움직임을 보이는지 확인하는 단계이다.

※⁴ 실패-종결(Fail-Closed) 안전성을 판단할 수 없는 경우, 안전성을 위해 스스로 처리를 중단하는 방식이다.

**출처:** [note 원문](https://note.com/deerstalker/n/n44a80cd06462)

*번역: Gemma 3(.44) 초벌 + 교정 126청크*

[원문 보기](https://note.com/deerstalker/n/n44a80cd06462) | 출처: note.com