저는 상품 판매와 SNS를 겸업하는 개인 사업주입니다. 프로그래밍은 할 수 없습니다. 그럼에도 불구하고, 현재 제 컴퓨터 안에서 AI가 14명이 일하고 있습니다. 매일 밤 0시에 상품 가격을 감시하고, 매일 아침 7시에 비교표를 다시 만들고, 월요일 9시에 재고 점검 보고서를 보내옵니다. 제가 자는 동안입니다.
자부심을 가지고 온 것이 아니라, 오늘은 그 작동 방식이 8개나 동시에 멈춰 있었던 이야기를 말씀드리겠습니다.
움직여야 할 것 같은 상황이 가장 무섭다.
어느 시점부터, 늦은 밤이나 새벽에 움직여야 할 자동 작업들이 모두 작동하지 않았습니다. 나중에 세어보니 8개나 되었고, 멈춰있었다는 사실에 다소 시간이 흘렀음에도 불구하고, 아무도 알아차리지 못했습니다. 저 또한 AI도 마찬가지였습니다.
그 이유는 범인 찾기를 해보자니 너무 단순했습니다.
무인으로 움직이는 AI는 안전을 위해 사전에 허가되지 않은 작동 전에 “이거, 해도 괜찮을까요?”라고 확인을 요청합니다. 낮이라면 제가 거기서 “네, 괜찮습니다”라고 답하면 끝나는 일입니다.
하지만 새벽 3시, 화면 앞에는 아무도 없었습니다.
AI는 확인 화면을 띄운 채 그대로 정적이고, 예의 바르게 응답을 기다렸습니다. 작업이 시작된 지 3초에서 10초 사이에 멈추는 현상이 있었습니다. 불평 없이, 오류도 발생하지 않고, 그저 기다리고 있었습니다. 귀엽지만, 업무는 1mm도 진행되지 않았습니다.
더욱 안타한 일은 얼어붙은 작업이 실행의 ‘틀’을 막아버렸습니다. 뒤로 밀린 작업들은 빈 틀이 비어있기를 기다렸고, 하나의 동결이 다른 작업까지 연쇄적으로 끌어들이는 일이 있었습니다. 8개나 멈춰 있었던 것은, 바로 그런 이유였습니다.
3초 안에 꿰뚫는 비법
이 사건에서 얻은 가장 실용적인 팁을 정리해 드리겠습니다.
작업의 “시작 시간”과 “마지막으로 움직인 시간”을 비교한다. 차이가 몇 초에 불과하다면, 확인 대기 상태의 동결로 거의 확실하다.
정상적으로 작동하면 기록은 분 단위로 진행됩니다. 3초간 멈춘 작업은 “절차서를 읽고, 첫 수를 두려가다가, 거기서 허락을 구한” 시간에 해당하네요. 저희의 실측으로는 3초, 6초, 10초였습니다. 모두 깔끔하게 이렇게 나왔습니다.
수정 방법과 하지 않은 일들
수정 방식은 실행하는 작업을 매번 완전히 똑같은 내용으로 고정하고, 그 한 가지 항목만을 사전에 승인 목록에 추가하는 방식이었습니다.
여기서는 “모든 것을 허락해버리면 되는 건 아닐까?”라는 생각이 드는 것을 잘 알 수 있습니다. 그 마음은 정말 이해가 갑니다. 하지만 저는 그렇게 하지 않았습니다. 무인 AI에게 광범위한 허락을 넘겨줄 수 없었습니다. AI가 잘못된 판단을 내릴 경우, 그 잘못된 판단이 검증 없이 그대로 실행될 수 있기 때문입니다.
좁고, 완벽하게 일치하며, 필요한 작동만 수행합니다. 번거롭지만, 이것이 자율 주행의 안전벨트라고 생각합니다.
이 사건을 통해 얻은 교훈
AI는 자신이 멈춰 있었음을 알려주지 않았습니다. 다음 날 아침도 굶주린 표정으로(표정이 없지만) 다음 일을 기다리고 있었습니다. 그에게는 악의가 없었습니다. 본인도 자신이 멈춰 있었는지 깨닫지 못하고 있습니다.
그래서 AI에게 일을 맡기는 일은 ‘작업’이 아니라 ‘검토 시스템 구축’이라는 점을 깨달았다는 것이 이 사건의 교훈이었다. 비경험으로 인해 끔찍한 ‘오싹한’ 경험을 한 것에 대한 비용은 정말 컸다.
이런 실패 기록은 아직 제 손안에 몇 건 남아 있습니다. 순서대로 공개하겠습니다.
출처: note 원문
번역: Gemma 3(.44) 초벌 + 교정 13청크
원문 보기 | 출처: note.com