저기, 이거 확인했지? AI 직원에게 조회해 달라고 부탁한 내용들을 보다가 나는 멈칫했다. 전에 확인했던 정보가 이후의 공정에서는 또다시 “미확인”으로 표시되어 있었다. “아, 예, 전에 확인했잖아.”
처음에는 AI가 단순한 오류라고 생각했다. 하지만 같은 일이 반복될 때마다 점차 다른 문제임을 깨달았다. AI 직원들이 잊는 것보다 오히려 내가 만들어가는 ‘회사’ 자체가 모두가 공유하는 기억이 없었던 것이다.
AI는 마치 기억하는 것처럼 보이지만, 실제로는 기억하지 못하는 경우가 많습니다.
ChatGPT나 Claude로 대화를 계속 이어가면 마치 “이전 대화를 기억하고 있는” 것처럼 느껴진다. 처음에는 그렇게 생각했다. 하지만 AI 직원들을 늘려 조사, 확인, 자료 작성, 설계, 구현 등 업무를 분담하기 시작하자, 그것으로는 부족했다. 한 AI가 확인한 내용을 다른 AI는 모른다. 어제 결정된 내용이 오늘 작업에서는 오래된 전제 조건으로 돌아가는 것이다. 사양을 변경했는데도 이전 사양을 전제로 이야기가 진행된다. “확인 완료”가 어쩐 일인지 “미확인”으로 돌아간다. 이는 인간의 회사에서 생각할 수 있을 정도로 무섭다. 영업에서는 “확인 완료”를, 제작에서는 “미확인”을, 개발에서는 다른 내용을 옳다고 생각하는 회사와 같다. 그런 회사에 중요한 일을 안심하고 맡길 수 없다.
AI에 억지로 기억시키려던 것을 이제 멈추기로 했다.
그러면서 접근 방식을 바꿔보았습니다. “더 똑똑한 AI가 기억해 줄까?”와 같은 생각 대신 “そもそも、AI 스스로의 기억에 의존하는 설계 자체가 다른 게 아닌가?”라는 질문을 던졌습니다. 인간의 회사도 직원 한 명 한 명의 머릿속에서만 회사를 움직이는 것은 아니니까요. 사양서가 있고, 회의록이 있고, 규칙이 있습니다. 과거의 판단이나 변경 이력이 남아 있습니다. 그렇다면 AI 직원에게도 똑같은 것이 필요하지 않을까요? AI에게 모든 것을 다 기억하도록 하는 대신, 회사로서 기억하는 장소를 만들어야 합니다. 여기서 사용하기 시작한 것이 Obsidian이었습니다.
Obsidian을 “회사 기억”으로 활용해 보았다.
Obsidian은 원래 메모나 지식을 Markdown로 기록할 수 있는 도구다. 나는 이를 단순한 메모장으로 생각하지 않고, AI 직원들이 일을 할 때 참고할 수 있는 “회사의 기억”으로 활용할 수 있을지 생각했다. 예를 들어 다음과 같은 내용을, 용도별로 정리하여 기록한다.
* 현재 공식적인 사양
* 그 결정의 이유
* 개발에서 어떤 부분을 변경했는지
* 실패한 경우
* 그로부터 얻은 교훈
* 조사한 내용
내 생각에 최신 사양이나 결정 사항은 “정본”으로 취급하는 방식으로 활용했다. 개발할 때는 갑자기 작업을 시작하지 않고, 먼저 정본을 확인한다. 변경 사항이 생기면 그 이유와 결과를 기록한다. 이렇게 하면, 사용하는 AI가 바뀌거나 모델이 바뀌거나 어제 대화가 사라져도 “회사로서 무엇을 결정했는지”는 남게 된다. 이때 처음으로 “AI의 기억”과 “회사의 기억”은 다른 것임을 깨달았다.
이렇게 잊지 않으려고. … 생각했다.
옵시디언에 저장해두면 “방금 확인했잖아”라는 생각도 줄어든다. 솔직히 처음에는 그렇게 생각했다. 하지만 또 문제가 발생했다. 옵시디언에 정확한 정보가 기록되어 있어도,
AI를 읽지 않으면 의미가 없었다. 기록만으로는 부족했다. AI 직원들이 일을 시작하기 전에 현재의 정본을 확인해야 한다. 자신이 가지고 있는 정보와 일치하지 않으면, 억지로 오래된 것을 사용하지 않는다. 업무 결과, 무언가 바뀐다면 그 변경 사항도 기록해야 한다. 즉, 필요했던 것은 ‘기억하는 장소’뿐만 아니라, 기억을 읽고 → 일을 하고 → 업데이트하는 것 자체의 흐름이었다.
제가 원했던 건 “똑똑한 AI”가 아니었습니다.
이 정도까지 시도해 본 결과, 조금 시각적인 변화가 생겼다. 내가 원했던 것은 과거의 대화를 엄청나게 많이 기억하는 AI가 아니라, 사람이 변해도, AI가 변해도, 사용하는 모델이 바뀌어도 끊임없이 이어지는 공통의 기억이었다. “이 회사에서는 지금 이게 옳다”라고 말할 수 있는 것.
AI 직원 수를 늘리는 것보다 개인을 더 현명하게 만드는 것보다 모든 사람이 같은 전제 안에서 일할 수 있는 것이 더 중요해지는 걸지도 모른다. AI 직원을 만들었다고 생각했는데, 또다시 인간 회사와 같은 유사한 시스템이 필요하게 된 것이다. 뭔가 재미있는 일이다.
하지만 기억을 늘렸더니 다음 문제가 발생했다.
오시디언에 기록을 남기는 기능이 추가되면서 ‘잊음’ 문제는 조금씩 다루기 쉬워졌다. 하지만 이제 다른 일들이 신경 쓰이기 시작했다. 기록은 계속해서 늘어났다. 과거의 설정들도 있고, 중간에 변경한 판단들도 있었다. 최신 결정들도 있었다. 그렇다면 AI 직원(社員)은 그 중 어느 것을 믿어야 할까? ‘기억하지 않는’ 것보다, 어쩌면 이쪽이 더 무섭다. 오래된 기억을, 지금도 정확한 정보라고 생각하고 일만 진행했다면 어떻게 될까? 다음 내가 생각해야 할 문제는 “어떻게 기억할 것인가”가 아니라 “무엇을 ‘현재의 정답’으로 믿을 것인가” 였다. 이 문제가 나중에 상당히 까다로운 문제로 이어질 것이다. 계속은 다음 회차에서 다루도록 하자.
키요시
출처: note 원문
번역: Gemma 3(.44) 초벌 + 교정 13청크
원문 보기 | 출처: note.com